Container Service for Kubernetes:TGIを使用してQwen推論サービスをACKにデプロイする

背景情報

前提条件

• A10 GPUによって高速化されたノードを含むACKクラスターが作成されます。 クラスターのKubernetesバージョンが1.22以降です。 詳細については、「GPUアクセラレーションノードでのACKクラスターの作成」をご参照ください。

  バージョンが525のGPUドライバをインストールすることを推奨します。 ack.aliyun.com/nvidia-driver-version:525.105.17ラベルをGPUアクセラレーションノードに追加して、GPUドライバーのバージョンを525.105.17に指定できます。 詳細については、「ラベルの追加によるノードのNVIDIAドライバーバージョンの指定」をご参照ください。

• Arenaクライアントの最新バージョンがインストールされています。 詳細については、「Arenaクライアントの設定」をご参照ください。

ステップ1: モデルデータの準備

このセクションでは、Qwen1.5-4B-Chatモデルを例として、Object Storage Service (OSS) からモデルをダウンロードしてアップロードする方法、およびACKクラスターに永続ボリューム (PV) と永続ボリュームクレーム (PVC) を作成する方法を示します。

File Storage NAS にモデルをアップロードする方法の詳細については、「静的にプロビジョニングされたNASボリュームのマウント」をご参照ください。

1. モデルファイルをダウンロードします。

   1. 次のコマンドを実行してGitをインストールします。

      # Run yum install git or apt install git. 
      yum install git

   2. 次のコマンドを実行して、Git Large File Support (LFS) プラグインをインストールします。

      # Run yum install git-lfs or apt install git-lfs. 
      yum install git-lfs

   3. 次のコマンドを実行して、ModelScopeのQwen1.5-4B-Chatリポジトリをローカル環境に複製します。

      GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git

   4. 次のコマンドを実行してQwen1.5-4B-Chatディレクトリに移動し、LFSで管理されている大きなファイルをプルします。

      cd Qwen1.5-4B-Chat
      git lfs pull

2. Qwen1.5-4B-ChatモデルファイルをOSSにアップロードします。

   1. OSSコンソールにログインし、作成したOSSバケットの名前を表示および記録します。

      OSSバケットの作成方法の詳細については、「バケットの作成」をご参照ください。

   2. ossutilをインストールして設定し、OSSリソースを管理します。 詳細については、「ossutilのインストール」をご参照ください。

   3. 次のコマンドを実行して、OSSにQwen1.5-4B-Chatという名前のディレクトリを作成します。

      ossutil mkdir oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

   4. 次のコマンドを実行して、モデルファイルをOSSにアップロードします。

      ossutil cp -r ./Qwen1.5-4B-Chat oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

3. ターゲットクラスターでPVとPVCを設定します。 詳細については、「静的にプロビジョニングされたOSSボリュームのマウント」をご参照ください。

   • 次の表に、PVのパラメータを示します。

     項目	説明
     PVタイプ	OSS
     ボリューム名	llm-モデル
     アクセス証明書	OSSバケットへのアクセスに使用するAccessKey IDとAccessKey secretを指定します。
     バケットID	作成したOSSバケットの名前を指定します。
     OSSパス	/models/Qwen1.5-4B-Chatなど、モデルのパスを選択します。

   • 次の表に、PVCのパラメータを示します。

     項目	説明
     PVCタイプ	OSS
     ボリューム名	llm-モデル
     割り当てモード	[既存のボリューム] を選択します。
     既存のボリューム	[既存のボリューム] ハイパーリンクをクリックし、作成したPVを選択します。

手順2: 推論サービスのデプロイ

1. 次のコマンドを実行して、Arenaを使用してカスタム推論サービスをデプロイします。

   推論サービスの名前はtgi-qwen-4bチャットで、バージョンはv1です。 サービスは1つのGPUを使用し、1つのレプリカを持ちます。 サービスの準備プローブが設定されます。 モデルは特別な種類のデータと見なされます。 したがって、-- dataパラメーターを設定して、コンテナー内の /model/Qwen1.5-4B-ChatディレクトリにモデルPVCをマウントします。

   arena serve custom \
       --name=tgi-qwen-4b-chat \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/text-generation-inference:2.0.2-ubuntu22.04 \
       --data=llm-model:/model/Qwen1.5-4B-Chat \
       "text-generation-launcher --model-id /model/Qwen1.5-4B-Chat --num-shard 1 -p 8000"

   下表に、各パラメーターを説明します。

   パラメーター	説明
   -- name	推論サービスの名前。
   -- version	推論サービスのバージョン。
   -- gpus	各推論サービスレプリカのGPUの数。
   -- レプリカ	推論サービスレプリカの数。
   -- 安らかポート	公開する推論サービスのポート。
   -- 準備-プローブ-アクション	準備プローブの接続タイプ。 有効な値: HttpGet、Exec、gRPC、およびTCPSocket。
   -- readiness-probe-action-option	準備プローブの接続方法。
   -- readiness-probe-option	準備完了プローブの設定。
   -- データ	共有PVCをランタイム環境にマウントします。 値は、コロン (:) で区切られた2つの部分で構成されます。 コロンの左側にあるPVCの名前を指定します。 arena data listコマンドを実行して、クラスター内の既存のPVCのリストを照会できます。 コロンの右側にあるランタイム環境を指定します。 トレーニングデータまたはモデルのローカルパスを指定することもできます。 これにより、スクリプトは指定されたPVのデータまたはモデルにアクセスできます。
   -- イメージ	推論サービスイメージのアドレス。

   期待される出力:

   service/tgi-qwen-4b-chat-v1 created
   deployment.apps/tgi-qwen-4b-chat-v1-custom-serving created
   INFO[0001] The Job tgi-qwen-4b-chat has been submitted successfully
   INFO[0001] You can run `arena serve get tgi-qwen-4b-chat --type custom-serving -n default` to check the job status

   出力は、推論サービスがデプロイされていることを示します。

2. 次のコマンドを実行して、推論サービスの詳細を照会します。

   arena serve get tgi-qwen-4b-chat

   期待される出力:

   Name:       tgi-qwen-4b-chat
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  1
   Age:        3m
   Address:    172.16.XX.XX
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                                 STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                                 ------   ---  -----  --------  ---  ----
     tgi-qwen-4b-chat-v1-custom-serving-67b58c9865-m89lq  Running  3m   1/1    0         1    cn-beijing.192.168.XX.XX

   出力は、ポッド (tgi-qwen-4b-chat-v1-custom-serving-67b58c9865-m89lq) が推論サービスで実行されており、サービスを提供する準備ができていることを示します。

手順3: 推論サービスの検証

1. 次のコマンドを実行して、推論サービスとローカル環境間のポート転送を設定します。

   重要

   kubectl Port-forwardを使用して設定されたポート転送は、運用環境では信頼性、安全性、拡張性がありません。 開発とデバッグ用のみです。 本番環境では、このコマンドを使用してポート転送を設定しないでください。 ACKクラスターの運用に使用されるネットワークソリューションの詳細については、「Ingressの概要」をご参照ください。

   kubectl port-forward svc/tgi-qwen-4b-chat-v1 8000:8000

   期待される出力:

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. 次のコマンドを実行して、推論サービスにリクエストを送信します。

   curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json"  -d '{"model": "/model/Qwen1.5-4B-Chat/", "messages": [{"role": "user", "content": "Test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

   期待される出力:

   {"id":"","object":"text_completion","created":1716274541,"model":"/model/Qwen1.5-4B-Chat","system_fingerprint":"2.0.2-sha-6073ece","choices":[{"index":0,"message":{"role":"assistant","content":"OK. What test do you want me to run?"},"logprobs":null,"finish_reason":"length"}],"usage":{"prompt_tokens":21,"completion_tokens":10,"total_tokens":31}}

   出力は、モデルが指定されたプロンプトに基づいて応答を生成できることを示します。 この例では、プロンプトはテスト要求です。

(オプション) ステップ4: 環境をクリアする

リソースが不要になった場合は、すぐに環境をクリアしてください。

• 次のコマンドを実行して、推論サービスを削除します。

  arena serve delete tgi-qwen-4b-chat

• 次のコマンドを実行して、PVとPVCを削除します。

  kubectl delete pvc llm-model
  kubectl delete pv llm-model