在Knative中使用GPU

ECI支援指定ECS GPU規格來建立GPU執行個體。GPU對應的Docker鏡像可以直接運行在ECI GPU執行個體上，無需安裝Tensorflow、CUDA Toolkit等軟體。本文介紹如何在Knative中建立並使用ECI GPU執行個體。

前提條件

您可以通過在Knative Service中添加spec.template.metadata.annotation下的k8s.aliyun.com/eci-use-specs欄位指定GPU規格，然後通過spec.containers.resources.limits下的nvidia.com/gpu欄位聲明GPU資源。

樣本如下：

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
spec:
  template:
    metadata:
      labels:
        app: helloworld-go
      annotations:
        k8s.aliyun.com/eci-use-specs: ecs.gn5i-c4g1.xlarge  #指定支援的ECS GPU規格。
    spec:
      containers:
        - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
          ports:
          - containerPort: 8080
          resources:
            limits:
              nvidia.com/gpu: '1'    #容器所需的GPU個數，必須指定該值，否則Pod啟動後將會報錯。

支援指定的ECS GPU規格類型系列如下：

GPU計算型執行個體規格類型系列gn7i（NVIDIA A10），例如：ecs.gn7i-c8g1.2xlarge。
GPU計算型執行個體規格類型系列gn7，例如：ecs.gn7-c12g1.3xlarge。
GPU計算型執行個體規格類型系列gn6v（NVIDIA V100)，例如：ecs.gn6v-c8g1.2xlarge。
GPU計算型執行個體規格類型系列gn6e（NVIDIA V100），例如：ecs.gn6e-c12g1.3xlarge。
GPU計算型執行個體規格類型系列gn6i（NVIDIA T4)，例如：ecs.gn6i-c4g1.xlarge。
GPU計算型執行個體規格類型系列gn5i（NVIDIA P4)，例如：ecs.gn5i-c2g1.large。
GPU計算型執行個體規格類型系列gn5（NVIDIA P100)，例如：ecs.gn5-c4g1.xlarge。

說明

gn5配備了本地碟，您可以掛載使用本地碟，更多資訊，請參見建立本地碟執行個體。
當前ECI GPU支援的驅動版本為NVIDIA 460.73.01，可支援的CUDA Tookit版本為11.2。
關於ECS GPU規格類型系列的更多資訊，請參見ECS執行個體規格可購買地區總覽和執行個體規格類型系列。