Container Service for Kubernetes:Triton を使用した ACK における Qwen 推論サービスのデプロイ

背景情報

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• GPU 加速ノードを備えた ACK Pro マネージドクラスター（Kubernetes 1.22 以降、ノードあたり GPU メモリ 16 GB 以上）。詳細については、「マネージドクラスターの作成」をご参照ください。

• GPU ノードに GPU ドライバー バージョン 525 がインストールされていること。ドライバー バージョンを固定するため、GPU 加速ノードに ack.aliyun.com/nvidia-driver-version:525.105.17 のラベルを追加します。詳細については、「ラベルを追加してノードの NVIDIA ドライバー バージョンを指定する」をご参照ください。

• 最新版 Arena クライアントがインストール済みであること。詳細については、「Arena クライアントの設定」をご参照ください。

ステップ 1：モデルデータの準備

Qwen1.5-4B-Chat モデルをダウンロードし、Object Storage Service (OSS) にアップロードした後、ACK クラスター内に永続ボリューム (PV) および永続ボリューム要求 (PVC) を作成します。

その他の vLLM 対応モデルをデプロイする場合は、「対応モデル」をご参照ください。OSS の代わりに File Storage NAS を使用する場合は、「静的プロビジョニング NAS ボリュームのマウント」をご参照ください。

ステップ 2：vLLM を使用した Triton の構成

Triton バックエンド用の config.pbtxt および vLLM エンジンパラメーター用の model.json の 2 つの構成ファイルを作成します。

mkdir triton-vllm

cat << EOF > triton-vllm/config.pbtxt
backend: "vllm"

# デバイスの使用は vLLM エンジンに委任されます
instance_group [
  {
    count: 1
    kind: KIND_MODEL
  }
]

version_policy: { all { }}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

cat << EOF > triton-vllm/model.json
{
    "model":"/model/Qwen1.5-4B-Chat",
    "disable_log_requests": "true",
    "gpu_memory_utilization": 0.95,
    "trust_remote_code": "true",
    "dtype": "half",
    "max_model_len": 8192
}
EOF

ステップ 3：推論サービスのデプロイ

Arena を使用して、Triton および vLLM を用いた Qwen1.5-4B-Chat 推論サービスをデプロイします。

1. 構成ファイルのパスを環境変数としてエクスポートします。

      export triton_config_file="triton-vllm/config.pbtxt"
      export model_config_file="triton-vllm/model.json"

2. 推論サービスをデプロイします。予想される出力：

   パラメーター

   パラメーター	説明
   --name	推論サービスの名前。
   --version	推論サービスのバージョン。
   --image	Triton サーバー用コンテナーイメージ。
   --gpus	レプリカあたりの GPU 数。
   --cpu	レプリカあたりの CPU コア数。
   --memory	レプリカあたりのメモリ割り当て量。
   --data	PVC のマウント（<pvc-name>:<mount-path> 形式）。利用可能な PVC を一覧表示するには、arena data list を実行します。
   --config-file	ローカルファイルのマウント（<local-path>:<container-path> 形式）。
   --model-repository	Triton モデルリポジトリディレクトリ。各サブディレクトリはモデルを表し、その構成ファイルを含む必要があります。詳細については、「Triton モデルリポジトリ」をご参照ください。
   --http-port	Triton サービスの HTTP ポート。
   --grpc-port	Triton サービスの gRPC ポート。
   --allow-metrics	推論メトリック（GPU 利用率、遅延、スループット）を公開します。

      arena serve triton \
          --name=triton-vllm \
          --version=v1 \
          --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/tritonserver:24.04-vllm-python-py3-ubuntu22.04 \
          --gpus=1 \
          --cpu=6 \
          --memory=30Gi \
          --data="llm-model:/model/Qwen1.5-4B-Chat" \
          --model-repository /triton-config \
          --config-file="$model_config_file:/triton-config/qwen-4b/1/model.json" \
          --config-file="$triton_config_file:/triton-config/qwen-4b/config.pbtxt" \
          --http-port=8000 \
          --grpc-port=9000 \
          --allow-metrics=true

      configmap/triton-vllm-v1-4bd5884e6b5b6a3 created
      configmap/triton-vllm-v1-7815124a8204002 created
      service/triton-vllm-v1-tritoninferenceserver created
      deployment.apps/triton-vllm-v1-tritoninferenceserver created
      INFO[0007] The Job triton-vllm has been submitted successfully
      INFO[0007] You can run `arena serve get triton-vllm --type triton-serving -n default` to check the job status

3. サービスが実行中であることを確認します。Available が 1 になるまで待ちます。予想される出力：

      arena serve get triton-vllm

      Name:       triton-vllm
      Namespace:  default
      Type:       Triton
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    172.16.XX.XX
      Port:       RESTFUL:8000,GRPC:9000
      GPU:        1
   
      Instances:
        NAME                                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                                  ------   ---  -----  --------  ---  ----
        triton-vllm-v1-tritoninferenceserver-b69cb7759-gkwz6  Running  3m   1/1    0         1    cn-beijing.172.16.XX.XX

ステップ 4：推論サービスの検証

（任意）クリーンアップ

推論サービスおよびストレージリソースが不要になった場合、以下のコマンドで削除します。

# 推論サービスの削除
arena serve del triton-vllm

# PVC および PV の削除
kubectl delete pvc llm-model
kubectl delete pv llm-model