使用Kubernetes默认GPU调度 - 容器服务 Kubernetes 版 ACK

阿里云容器服务ACK支持GPU的调度与运维管理。默认的GPU使用模式与Kubernetes社区GPU的使用方式一致。本文以运行GPU的TensorFlow任务为例，介绍如何快速部署一个GPU应用。

注意事项

针对纳入K8s集群管理的GPU节点，建议您按照本文示例中标准的K8s扩展资源申请方式为应用申请GPU资源。为业务应用申请和使用GPU资源时，请关注以下注意事项。

请勿直接在节点上运行GPU应用程序。
请勿通过docker、podman、nerdctl等工具命令创建容器并为容器申请GPU资源。例如，执行docker run --gpus all或docker run -e NVIDIA_VISIBLE_DEVICES=all并运行GPU程序。
请勿在Pod YAML的env中直接添加环境变量NVIDIA_VISIBLE_DEVICES=all或NVIDIA_VISIBLE_DEVICES=<GPU ID>等，通过容器的环境变量NVIDIA_VISIBLE_DEVICES直接为Pod申请GPU资源，并运行GPU程序。
在Pod YAML中未设置环境变量NVIDIA_VISIBLE_DEVICES，制作Pod所使用的镜像时，请勿将环境变量默认配置为NVIDIA_VISIBLE_DEVICES=all，并运行GPU程序。
请勿在Pod的securityContext中配置privileged: true，并运行GPU程序。

使用以上非标准方式为业务应用申请的GPU资源，将存在如下安全隐患。

通过以上方式为业务应用申请的GPU资源，并未在调度器的设备资源账本中统计，有可能造成节点GPU资源的分配情况与调度器设备资源账本中记录的值不一致。调度器仍然会调度某些申请GPU资源的Pod到这个节点上，导致用户业务因为在同一张GPU卡上出现资源争抢（例如GPU显存申请）而运行失败的情况。
非标操作可能引发其他未知问题，例如NVIDIA社区的已知报错。

操作步骤

登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。
在无状态页面右上角，单击使用YAML创建资源。

在创建无状态工作负载页面，选择所需命名空间，示例模板选择已有模板或自定义。在模板代码输入框输入以下示例代码，然后单击创建。

apiVersion: v1
kind: Pod
metadata:
  name: tensorflow-mnist
  namespace: default
spec:
  containers:
  - image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
    name: tensorflow-mnist
    command:
    - python
    - tensorflow-sample-code/tfjob/docker/mnist/main.py
    - --max_steps=100000
    - --data_dir=tensorflow-sample-code/data
    resources:
      limits:
        nvidia.com/gpu: 1  # 为该容器申请1张GPU卡。
    workingDir: /root
  restartPolicy: Always

在集群管理页左侧导航栏，选择工作负载 > 容器组，找到刚才创建的Pod，单击Pod名称查看相关信息。
单击日志页签，查看该Tensorflow任务的日志信息，以下输出日志表示该任务已正常使用GPU。