Container Service for Kubernetes:KnativeサービスのGPUリソースを構成し、GPU共有を有効にする

GPUリソースの設定

注釈k8s.aliyun.com/eci-use-specsをKnative Serviceの設定のspec.template.metadata.annotationセクションに追加して、GPU高速化されたECSインスタンスタイプを指定できます。 nvidia.com/gpuフィールドをspec.containers.resources.limitsセクションに追加して、Knativeサービスに必要なGPUリソースの量を指定できます。

次のコードブロックは例です。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go
spec:
  template:
    metadata:
      labels:
        app: helloworld-go
      annotations:
        k8s.aliyun.com/eci-use-specs: ecs.gn5i-c4g1.xlarge  # Specify a GPU-accelerated ECS instance type that is supported by Knative. 
    spec:
      containers:
        - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
          ports:
          - containerPort: 8080
          resources:
            limits:
              nvidia.com/gpu: '1'    # Specify the number of GPUs that are required by the container. This field is required. If you do not specify this field, an error is returned when the pod is launched. 

GPU共有の有効化

1. ノードのGPU共有機能を有効にするには、「例」をご参照ください。

2. Knative Serviceのaliyun.com/gpu-memフィールドを設定して、GPUメモリサイズを指定できます。 例：

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: helloworld-go
     namespace: default
   spec:
     template:
       metadata:
         annotations:
           autoscaling.knative.dev/maxScale: "100"
           autoscaling.knative.dev/minScale: "0"
       spec:
         containerConcurrency: 1
         containers:
         - image: registry-vpc.cn-hangzhou.aliyuncs.com/hz-suoxing-test/test:helloworld-go
           name: user-container
           ports:
           - containerPort: 6666
             name: http1
             protocol: TCP
           resources:
             limits:
               aliyun.com/gpu-mem: "3" # Specify the GPU memory size.

関連ドキュメント

• AIモデルを推論サービスとしてKnativeポッドにデプロイし、自動スケーリングを設定し、GPUリソースを柔軟に割り当てて、GPUリソースの利用率を向上させ、AI推論のパフォーマンスを向上させることができます。 詳細については、「KnativeでAI推論サービスをデプロイするためのベストプラクティス」をご参照ください。

• GPUに関するよくある質問と解決策については、「FAQ」をご参照ください。