全部产品
Search
文档中心

容器服务 Kubernetes 版 ACK:配置共享GPU调度cGPU算力调度策略

更新时间:Aug 21, 2023

ACK集群Pro版的共享GPU功能基于cGPU实现。共享GPU算力隔离提供不同的分配策略,您可以在ACK Pro版集群中通过设置共享GPU组件的Policy来选择不同的分配策略。本文介绍通过配置共享GPU算力分配策略,实现不同效果的算力分配。

关于cGPU的更多信息,请参见什么是GPU容器共享技术cGPU

前提条件

  • 已创建ACK Pro版集群,且集群的Kubernetes版本≥1.18.8。关于Kubernetes的升级操作,请参见升级ACK集群

  • cGPU版本≥1.0.6。关于cGPU的升级操作,请参见升级节点cGPU版本

注意事项

  • 如果您的节点已存在cGPU隔离模块,在安装共享GPU组件之后,您需要重启该节点,Policy才能生效。关于重启节点的具体操作,请参见重启实例

    说明

    您可以登录节点,执行cat /proc/cgpu_km/version命令,查看是否安装cGPU隔离模块。执行命令后显示cGPU的版本号,说明已安装cGPU隔离模块。

  • 如果您的节点未安装cGPU隔离模块或已卸载cGPU隔离模块,安装共享GPU组件后,Policy立即生效。

  • 同一个集群中的共享GPU节点只能使用同一种Policy。

步骤一:查看是否已安装共享GPU组件

配置共享GPU算力分配策略时,未安装共享GPU组件和已安装共享GPU组件的操作方式不同,因此需要您确认集群是否已安装共享GPU组件。

  1. 登录容器服务管理控制台,在左侧导航栏选择集群

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择应用 > Helm

  3. Helm页面的组件列表,查看是否存在ack-ai-installer组件。

    若存在ack-ai-installer组件,表示您已安装共享GPU组件;若不存在ack-ai-installer组件,表示您未安装共享GPU组件。

步骤二:配置共享GPU算力分配策略

下文将根据两种情况(未安装共享GPU组件和已安装共享GPU组件)分别介绍如何配置共享GPU算力分配策略,具体操作步骤如下。

未安装共享GPU组件

  1. 登录容器服务管理控制台,在左侧导航栏选择集群

  2. 集群列表页面,单击目标集群名称,然后在左侧导航栏,选择应用 > 云原生AI套件

  3. 云原生AI套件页面,单击一键部署

  4. 调度区域,选中调度组件(批量任务调度、GPU共享、GPU拓扑感知、NPU调度),然后单击右侧的高级配置

  5. 参数配置页面,修改policy字段,然后单击确定policy.jpgpolicy取值说明如下。关于时间片及调度策略的更多信息,请参见cGPU服务算力调度示例

    取值

    说明

    0

    平均调度。每个容器占用固定的时间片,时间片占比为1/max_inst

    1

    抢占调度。每个容器占用尽量多的时间片,时间片占比为1/当前容器数

    2

    权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时,自动使用权重抢占调度。

    3

    固定算力调度。用于固定算力的百分比。

    4

    算力弱调度。隔离性弱于抢占调度。

    5

    原生调度。即GPU驱动本身的调度方式。

  6. 在页面下方,单击部署云原生AI套件

已安装共享GPU组件

  1. 执行以下命令,编辑共享GPU组件中安装cGPU隔离模块的DaemonSet。

    kubectl edit daemonset cgpu-installer -nkube-system
  2. 修改并保存安装cGPU隔离模块的Daemonset。

    1. 通过image字段,查看Daemonset的镜像版本。

      请确保镜像版本为v1.0.6及其以上。image字段示例如下:

       image: registry-vpc.cn-hongkong.aliyuncs.com/acs/cgpu-installer:<镜像版本>
    2. 修改value值。

      containers.env参数下,POLICYvalue修改为目标策略值。

      # 省略其他字段。
      spec:
        containers:
        - env:
          - name: POLICY
            value: "1"
      # 省略其他字段。

      value的取值说明如下。

      取值

      说明

      0

      平均调度。每个容器占用固定的时间片,时间片占比为1/max_inst

      1

      抢占调度。每个容器占用尽量多的时间片,时间片占比为1/当前容器数

      2

      权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时,自动使用权重抢占调度。

      3

      固定算力调度。用于固定算力的百分比。

      4

      算力弱调度。隔离性弱于抢占调度。

      5

      原生调度。即GPU驱动本身的调度方式。

  3. 重启共享GPU节点实例。

    关于重启节点的具体操作,请参见重启实例