Container Service for Kubernetes:ACK で LLM 推論サービスを迅速にデプロイ

• ACK マネージド Pro クラスターが Kubernetes バージョン 1.22 以降で実行されていること。クラスターには、それぞれ少なくとも 16 GB の GPU メモリを持つ GPU 高速化ノードも含まれている必要があります。

• NVIDIA ドライバーのバージョンが 535 以降であること。このトピックでは、GPU ノードプールに ack.aliyun.com/nvidia-driver-version ラベルを値 550.144.03 で追加する例を使用します。

オプション 1: テスト用のクイックデプロイ

Arena を使用して qwen/Qwen1.5-4B-Chat を迅速にデプロイします。この方法はテスト環境に適しており、約 15 分かかります。

ステップ 1: モデルデータの準備

1. ModelScope からモデルファイルをダウンロードします。

   1. Git と Git Large File Storage (LFS) 拡張機能をインストールします。

      macOS

      1. Git をインストールします。

         公式にメンテナンスされている macOS Git インストーラーは、Git の公式 Web サイトから入手できます。

         brew install git

      2. 大容量ファイルをプルするために Git LFS 拡張機能をインストールします。

         brew install git-lfs

      Windows

      1. Git をインストールします。

         Git の公式 Web サイトから適切なバージョンをダウンロードしてインストールします。

      2. 大容量ファイルをプルするために Git LFS 拡張機能をインストールします。Git LFS は Git for Windows に統合されています。最新バージョンをダウンロードして使用してください。

      Linux

      1. Git をインストールします。

         次のコマンドは Red Hat ベースの Linux ディストリビューション用です。他のシステムについては、「Git の公式 Web サイト」をご参照ください。

         yum install git

      2. 大容量ファイルをプルするために Git LFS 拡張機能をインストールします。

         yum install git-lfs

   2. Qwen1.5-4B-Chat モデルをダウンロードします。

      GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
      cd Qwen1.5-4B-Chat
      git lfs pull

2. Qwen1.5-4B-Chat モデルファイルを OSS バケットにアップロードします。

   1. ossutil をインストールして設定し、OSS リソースを管理します。

   2. バケットを作成します。

      モデルのプルを高速化するために、クラスターと同じリージョンにバケットを作成します。

      ossutil mb oss://<Your-Bucket-Name>

   3. バケットに Qwen1.5-4B-Chat という名前のフォルダを作成します。

      ossutil mkdir oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

   4. モデルファイルをアップロードします。

      ossutil cp -r ./Qwen1.5-4B-Chat oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

3. 永続ボリューム (PV) を設定します。

   1. ACK コンソールにログインし、対象のクラスターをクリックします。左側のナビゲーションウィンドウで、[ボリューム] > [永続ボリューム] を選択します。

   2. [永続ボリューム] ページで、[作成] をクリックします。[ボリュームの作成] ダイアログボックスでパラメーターを設定し、[作成] をクリックします。

      • PV タイプ: OSS を選択します

      • ボリューム名: llm-model

      • 容量: 20Gi

      • アクセスモード: ReadOnlyMany

      • アクセス証明書: [Secret の作成] を選択します

      • オプションのパラメータ： -o umask=022 -o max_stat_cache_size=0 -o allow_other

      • バケット ID： [バケット選択] をクリックします

      • OSS パス: /Qwen1.5-4B-Chat

      • エンドポイント： [パブリックエンドポイント] を選択します

4. 永続ボリューム要求 (PVC) を設定します。

   1. クラスター詳細ページで、[ボリューム] > [永続ボリューム要求] を選択します。

   2. [永続ボリューム要求] ページで、パラメーターを設定します。

      • PVC タイプ: OSS を選択します

      • 名前: llm-model

      • 割り当てモード: [既存ボリューム] を選択します

      • 既存ボリューム: 前のステップで作成した llm-model PV を選択します

      • 容量: 20Gi

ステップ 2: 推論サービスのデプロイ

1. Arena クライアントをインストールします。

2. Arena を使用してサービスをデプロイします。このコマンドはオプション 1 のクイックデプロイと似ていますが、モデルファイルを含む PVC をマウントするために --data フラグが追加されている点が異なります。パラメーターの完全なリストについては、「付録: コマンドパラメーターリファレンス」をご参照ください。

   arena serve custom \
       --name=modelscope \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --data=llm-model:/Qwen1.5-4B-Chat \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=/Qwen1.5-4B-Chat python3 server.py"

   次の出力は、推論サービスが送信されたことを示しています:

   service/modelscope-v1 created
   deployment.apps/modelscope-v1-custom-serving created
   INFO[0001] The Job modelscope has been submitted successfully
   INFO[0001] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

3. サービスステータスを確認します。

   arena serve get modelscope

   Pod が Running 状態になっていることを確認すると、推論サービスの準備が整ったことを示します。

推論サービスの検証

1. 推論サービスへのポートフォワーディングを設定します。

   重要

   kubectl port-forward によるポートフォワーディングは、信頼性、セキュリティ、拡張性の懸念があるため、本番環境での使用には適していません。これは開発およびデバッグ目的でのみ使用してください。ACK クラスターの本番環境で使用されるネットワークソリューションの詳細については、「Ingress 管理」をご参照ください。

   kubectl port-forward svc/modelscope-v1 8000:8000

   期待される出力:

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. 新しいターミナルで、サンプルの推論リクエストを送信します。

   curl -X POST http://localhost:8000/generate \
     -H "Content-Type: application/json" \
     -d '{
       "text_input": "What is artificial intelligence? Artificial intelligence is", 
       "parameters": {
         "stream": false, 
         "temperature": 0.9, 
         "seed": 10
       }
     }'

   成功したレスポンスには、モデルが生成したテキストが含まれます。

   {"model_name":"/Qwen1.5-4B-Chat","text_output":"What is artificial intelligence? Artificial intelligence is a branch of computer science that studies how to make computers have intelligent behavior."}

Hugging Face リポジトリからモデルファイルをプルするにはどうすればよいですか?

1. コンテナーランタイム環境が Hugging Face リポジトリにアクセスできることを確認します。

2. Arena を使用してカスタムサービスをデプロイし、--image フフラグでコンテナイメージを指定します。パラメーターの完全なリストについては、「付録: コマンドパラメーターリファレンス」をご参照ください。

   この方法では、Hugging Face のモデルファイルがコンテナ内に直接ダウンロードされます。モデルを格納するために、GPU ノードに 30 GB 以上の利用可能なディスク領域があることを確認してください。

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   次の出力は、huggingface-v1 推論サービス用の Kubernetes リソースが作成されたことを示しています:

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status