Container Service for Kubernetes:GPUメトリックに基づく自動スケーリングの有効化

手順1: Prometheusおよびack-alibaba-cloud-metrics-adapterにマネージドサービスをデプロイする

1. 手順1: Prometheusのマネージドサービスの有効化.

   説明

   クラスターを作成するときに、[Enable Managed Service for Prometheus] を選択できます。 これにより、クラスターの作成後にPrometheusのManaged Serviceをインストールする必要がなくなります。

2. ack-alibaba-cloud-metrics-adapterをインストールして設定します。

   A。 HTTP APIエンドポイントの取得

   1. 最初にARMSコンソール

      を使用します。

   2. 左側のナビゲーションウィンドウで、Prometheusのマネージドサービス > インスタンス.

   3. 上部のナビゲーションバーで、ACKクラスターがデプロイされているリージョンを選択します。 次に、クラスターで使用されているPrometheusインスタンスの名前をクリックして、インスタンスの詳細ページに移動します。

   4. On the設定ページをクリックし、設定タブで、内部エンドポイントをコピーします。HTTP API URLセクションにアクセスします。

   B。 Prometheus URLの設定

   1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[Marketplace] > [Marketplace] を選択します。

   2. [マーケットプレイス] ページで、[アプリカタログ] タブをクリックします。 ack-alibaba-cloud-metrics-adapterを見つけてクリックします。

   3. On theack-alibaba-cloud-metrics-adapterページをクリックします。デプロイ.

   4. On the基本情報ウィザードページで、クラスターと名前空間を選択し、次へ.

   5. On theパラメータウィザードページで、チャートのバージョンを選択します。Chartバージョンドロップダウンリスト、Prometheusを設定URLで、パラメータセクションを取得したHTTP APIエンドポイントに移動し、OK.

ステップ3: GPUメトリックに基づいて自動スケーリングを有効にする

次の例は、GPU高速化ノードにモデル推論サービスをデプロイし、そのノードでストレステストを実行して、GPUメトリックに基づいて自動スケーリングを実行できるかどうかを確認する方法を示しています。

a. 推論サービスのデプロイ

1. 次のコマンドを実行して、推論サービスをデプロイします。

   サンプルコードを表示する

   cat <<EOF | kubectl create -f -
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: bert-intent-detection
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: bert-intent-detection
     template:
       metadata:
         labels:
           app: bert-intent-detection
       spec:
         containers:
         - name: bert-container
           image: registry.cn-hangzhou.aliyuncs.com/ai-samples/bert-intent-detection:1.0.1
           ports:
           - containerPort: 80
           resources:
             limits:
               nvidia.com/gpu: 1
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: bert-intent-detection-svc
     labels:
       app: bert-intent-detection
   spec:
     selector:
       app: bert-intent-detection
     ports:
     - protocol: TCP
       name: http
       port: 80
       targetPort: 80
     type: LoadBalancer
   EOF

2. ポッドとサービスのステータスを照会します。

   • 次のコマンドを実行して、ポッドのステータスを照会します。

     kubectl get pods -o wide

     期待される出力:

     NAME                                    READY   STATUS    RESTARTS   AGE     IP           NODE                        NOMINATED NODE   READINESS GATES
     bert-intent-detection-7b486f6bf-f****   1/1     Running   0          3m24s   10.15.1.17   cn-beijing.192.168.94.107   <none>           <none>

     出力は、GPUアクセラレーションノード192.168.94.107に1つのポッドのみがデプロイされていることを示します。

   • 次のコマンドを実行して、サービスのステータスを照会します。

     kubectl get svc bert-intent-detection-svc

     期待される出力:

     NAME                        TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
     bert-intent-detection-svc   LoadBalancer   172.16.186.159   47.95.XX.XX   80:30118/TCP   5m1s

     出力にサービスの名前が表示されている場合、サービスがデプロイされます。

3. SSHを使用してノード192.168.94.107にログインし、次のコマンドを実行してGPU使用率を照会します。

   nvidia-smi

   期待される出力:

   Wed Feb 16 11:48:07 2022
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 450.102.04   Driver Version: 450.102.04   CUDA Version: 11.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  Tesla V100-SXM2...  On   | 00000000:00:07.0 Off |                    0 |
   | N/A   32C    P0    55W / 300W |  15345MiB / 16160MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |    0   N/A  N/A   2305118      C   python                          15343MiB |
   +-----------------------------------------------------------------------------+

   出力は、推論サービスがGPUアクセラレーションノードで実行されていることを示します。 サービスにリクエストが送信されないため、GPU使用率は0です。

4. 次のコマンドを実行して、推論サービスにリクエストを送信し、サービスがデプロイされているかどうかを確認します。

   curl -v  "http://47.95.XX.XX/predict?query=Music"

   期待される出力:

   *   Trying 47.95.XX.XX...
   * TCP_NODELAY set
   * Connected to 47.95.XX.XX (47.95.XX.XX) port 80 (#0)
   > GET /predict?query=Music HTTP/1.1
   > Host: 47.95.XX.XX
   > User-Agent: curl/7.64.1
   > Accept: */*
   >
   * HTTP 1.0, assume close after body
   < HTTP/1.0 200 OK
   < Content-Type: text/html; charset=utf-8
   < Content-Length: 9
   < Server: Werkzeug/1.0.1 Python/3.6.9
   < Date: Wed, 16 Feb 2022 03:52:11 GMT
   <
   * Closing connection 0
   PlayMusic # The query result.

   HTTPステータスコードが200され、クエリ結果が返されると、推論サービスがデプロイされます。

b. HPAの設定

次の例では、ポッドのGPU使用率が20% を超えたときに自動スケーリングをトリガーする方法について説明します。 次の表に、HPAでサポートされているメトリックを示します。

1. 次のコマンドを実行してHPAをデプロイします。

   Kubernetes 1.23以降を実行するクラスター

   cat <<EOF | kubectl create -f -
   apiVersion: autoscaling/v2  # Use the HPA configuration for API version autoscaling/v2. 
   kind: HorizontalPodAutoscaler
   metadata:
     name: gpu-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: bert-intent-detection
     minReplicas: 1
     maxReplicas: 10
     metrics:
     - type: Pods
       pods:
         metric:
           name: DCGM_CUSTOM_PROCESS_SM_UTIL
         target:
           type: Utilization
           averageValue: 20 # If the GPU utilization exceeds 20%, pods are scaled out. 
   EOF

   1.23より前のバージョンのKubernetesを実行するクラスター

   cat <<EOF | kubectl create -f -
   apiVersion: autoscaling/v2beta1  # Use the HPA configuration for API version autoscaling/v2beta1. 
   kind: HorizontalPodAutoscaler
   metadata:
     name: gpu-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: bert-intent-detection
     minReplicas: 1
     maxReplicas: 10
     metrics:
     - type: Pods
       pods:
         metricName: DCGM_CUSTOM_PROCESS_SM_UTIL # The GPU utilization of pods. 
         targetAverageValue: 20 # If the GPU utilization exceeds 20%, pods are scaled out. 
   EOF

2. 次のコマンドを実行して、HPAのステータスを照会します。

   kubectl get hpa

   期待される出力:

   NAME      REFERENCE                          TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
   gpu-hpa   Deployment/bert-intent-detection   0/20      1         10        1          74s

   期待される出力は、TARGETSが0/20を表示することを示します。 現在のGPU使用率は0です。 GPU使用率が20% を超えると、ポッドはスケールアウトされます。

c. 推論サービスでの自動スケーリングのテスト

[GPUモニタリング] タブで、GPU使用率に変更があるかどうかを確認できます。 GPU使用率が増加すると、GPUが使用されます。 GPU使用率に変更がない場合、GPUは使用されません。 これを行うには、次の手順を実行します。

1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のナビゲーションウィンドウで、[操作] > [Prometheusモニタリング] を選択します。

3. [Prometheusモニタリング] ページで、[GPUモニタリング] タブをクリックし、GPU使用率の変更を表示します。