Container Service for Kubernetes:GPU メトリックに基づくオートスケーリングの実装

1. 推論サービスのデプロイ

1. 次のコマンドを実行して、推論サービスをデプロイします。

   コマンド詳細

   cat <<EOF | kubectl create -f -
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: bert-intent-detection
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: bert-intent-detection
     template:
       metadata:
         labels:
           app: bert-intent-detection
       spec:
         containers:
         - name: bert-container
           image: registry.cn-hangzhou.aliyuncs.com/ai-samples/bert-intent-detection:1.0.1
           ports:
           - containerPort: 80
           resources:
             limits:
               nvidia.com/gpu: 1
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: bert-intent-detection-svc
     labels:
       app: bert-intent-detection
   spec:
     selector:
       app: bert-intent-detection
     ports:
     - protocol: TCP
       name: http
       port: 80
       targetPort: 80
     type: LoadBalancer
   EOF

2. Pod とサービスのステータスを確認します。

   • 次のコマンドを実行して、Pod ステータスを確認します。

     kubectl get pods -o wide

     期待される出力:

     NAME                                    READY   STATUS    RESTARTS   AGE     IP           NODE                        NOMINATED NODE   READINESS GATES
     bert-intent-detection-7b486f6bf-f****   1/1     Running   0          3m24s   10.15.1.17   cn-beijing.192.168.94.107   <none>           <none>

     期待される出力は、GPU ノード 192.168.94.107 に 1 つの Pod のみがデプロイされていることを示しています。

   • 次のコマンドを実行して、サービスステータスを確認します。

     kubectl get svc bert-intent-detection-svc

     期待される出力:

     NAME                        TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
     bert-intent-detection-svc   LoadBalancer   172.16.186.159   47.95.XX.XX   80:30118/TCP   5m1s

     期待される出力のサービス名は、サービスがデプロイされていることを示しています。

3. Secure Shell (SSH) を使用して GPU ノード 192.168.94.107 にログインします。次に、次のコマンドを実行して GPU 使用量を確認します。

   nvidia-smi

   期待される出力:

   Wed Feb 16 11:48:07 2022
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 450.102.04   Driver Version: 450.102.04   CUDA Version: 11.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  Tesla V100-SXM2...  On   | 00000000:00:07.0 Off |                    0 |
   | N/A   32C    P0    55W / 300W |  15345MiB / 16160MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |    0   N/A  N/A   2305118      C   python                          15343MiB |
   +-----------------------------------------------------------------------------+

   期待される出力は、推論サービスプロセスが GPU で実行されていることを示しています。リクエストが送信されていないため、現在の GPU 使用率は 0 です。

4. 次のコマンドを実行して推論サービスを呼び出し、デプロイメントを検証します。

   curl -v  "http://47.95.XX.XX/predict?query=Music"

   期待される出力:

   *   Trying 47.95.XX.XX...
   * TCP_NODELAY set
   * Connected to 47.95.XX.XX (47.95.XX.XX) port 80 (#0)
   > GET /predict?query=Music HTTP/1.1
   > Host: 47.95.XX.XX
   > User-Agent: curl/7.64.1
   > Accept: */*
   >
   * HTTP 1.0, assume close after body
   < HTTP/1.0 200 OK
   < Content-Type: text/html; charset=utf-8
   < Content-Length: 9
   < Server: Werkzeug/1.0.1 Python/3.6.9
   < Date: Wed, 16 Feb 2022 03:52:11 GMT
   <
   * Closing connection 0
   PlayMusic # 意図認識結果

   HTTP リクエストはステータスコード 200 と意図認識結果を返します。これは、推論サービスがデプロイされていることを示しています。

2. HPA の構成

この例では GPU 使用率を使用します。Pod の GPU 使用率が 20% を超えると、スケールアウトがトリガーされます。HPA は次のメトリックをサポートしています。

1. 次のコマンドを実行して HPA をデプロイします。

   v1.23 以降

   cat <<EOF | kubectl create -f -
   apiVersion: autoscaling/v2  # HPA 構成には autoscaling/v2 バージョンを使用します。
   kind: HorizontalPodAutoscaler
   metadata:
     name: gpu-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: bert-intent-detection
     minReplicas: 1
     maxReplicas: 10
     metrics:
     - type: Pods
       pods:
         metric:
           name: DCGM_CUSTOM_PROCESS_SM_UTIL
         target:
           type: Utilization
           averageValue: 20 # コンテナーの GPU 使用率が 20% を超えると、スケールアウトがトリガーされます。
   EOF

   v1.23 より前

   cat <<EOF | kubectl create -f -
   apiVersion: autoscaling/v2beta1  # HPA 構成には autoscaling/v2beta1 バージョンを使用します。
   kind: HorizontalPodAutoscaler
   metadata:
     name: gpu-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: bert-intent-detection
     minReplicas: 1
     maxReplicas: 10
     metrics:
     - type: Pods
       pods:
         metricName: DCGM_CUSTOM_PROCESS_SM_UTIL # Pod の GPU 使用率。
         targetAverageValue: 20 # コンテナーの GPU 使用率が 20% を超えると、スケールアウトがトリガーされます。
   EOF

2. 次のコマンドを実行して HPA ステータスを確認します。

   kubectl get hpa

   期待される出力:

   NAME      REFERENCE                          TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
   gpu-hpa   Deployment/bert-intent-detection   0/20      1         10        1          74s

   期待される出力は、TARGETS が 0/20 であることを示しています。これは、現在の GPU 使用率が 0 であることを示しています。GPU 使用率が 20% を超えると、スケールアウトがトリガーされます。

3. 推論サービスのオートスケーリングのテスト