すべてのプロダクト
Search

このプロダクト

    :rtp-llmを使用してQwen推論サービスをACKにデプロイする

    ドキュメントセンター

    :rtp-llmを使用してQwen推論サービスをACKにデプロイする

    最終更新日:Nov 19, 2024

    このトピックでは、例としてQwen1.5-4B-ChatモデルとA10およびT4 GPUを使用して、rtp-llmフレームワークを使用してContainer Service for Kubernetes (ACK) にQwen推論サービスをデプロイする方法を示します。

    背景情報

    Qwen1.5-4B-チャット

    Qwen1.5-4B-Chatは、Transformerに基づいてAlibaba Cloudによって開発された40億パラメータモデルの大規模言語モデル (LLM) です。 このモデルは、さまざまなwebベースのテキスト、専門分野の本、およびコードをカバーする超大量のトレーニングデータに基づいてトレーニングされます。 詳細については、「Qwen GitHubリポジトリ」をご参照ください。

    rtp-llm

    rtp-llmは、LLM推論の効率とパフォーマンスを向上させるために、Alibaba large language model (LLM) 予測チームによって開発された推論アクセラレーションエンジンです。 rtp-llmは次の機能を提供します。

    • PagedAttention、FlashAttention、FlashDecodingなどの高性能CUDAカーネルを提供します。

    • eightOnly INT8およびWeightOnly INT4量子化技術を採用しています。

    • 汎用量子化 (GPTQ) および近似重み量子化 (AWQ) を含む主流のアルゴリズムをサポートします。

    • アダプティブKVCache量子化フレームワークを使用し、連続バッチ処理のオーバーヘッドに最適化されます。

    • V100 GPU向けに最適化。

    詳細については、「rtp-llm」をご参照ください。

    前提条件

    • GPU高速化ノードを含むACK Proクラスターが作成されます。 クラスターのKubernetesバージョンが1.22以降です。 各GPU高速化ノードは、16 GB以上のGPUメモリを提供します。 詳細については、「ACK管理クラスターの作成」をご参照ください。

      バージョンが525のGPUドライバをインストールすることを推奨します。 ack.aliyun.com/nvidia-driver-version:525.105.17ラベルをGPUアクセラレーションノードに追加して、GPUドライバーのバージョンを525.105.17に指定できます。 詳細については、「ラベルの追加によるノードのNVIDIAドライバーバージョンの指定」をご参照ください。

    • Arenaクライアントの最新バージョンがインストールされています。 詳細については、「Arenaクライアントの設定」をご参照ください。

    ステップ1: モデルデータの準備

    このセクションでは、Qwen1.5-4B-Chatモデルを例として、Object Storage Service (OSS) からモデルをダウンロードしてアップロードする方法、およびACKクラスターに永続ボリューム (PV) と永続ボリュームクレーム (PVC) を作成する方法を示します。

    File Storage NAS にモデルをアップロードする方法の詳細については、「静的にプロビジョニングされたNASボリュームのマウント」をご参照ください。

    1. モデルファイルをダウンロードします。

      1. 次のコマンドを実行してGitをインストールします。 

        # Run yum install git or apt install git. 
yum install git

      2. 次のコマンドを実行して、Git Large File Support (LFS) プラグインをインストールします。 

        # Run yum install git-lfs or apt install git-lfs. 
yum install git-lfs

      3. 次のコマンドを実行して、ModelScopeのQwen1.5-4B-Chatリポジトリをローカル環境に複製します。 

        GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git

      4. 次のコマンドを実行してQwen1.5-4B-Chatディレクトリに移動し、LFSで管理されている大きなファイルをプルします。 

        cd Qwen1.5-4B-Chat
git lfs pull

    2. Qwen1.5-4B-ChatモデルファイルをOSSにアップロードします。

      1. OSSコンソールにログインし、作成したOSSバケットの名前を表示および記録します。

        OSSバケットの作成方法の詳細については、「バケットの作成」をご参照ください。

      2. ossutilをインストールして設定し、OSSリソースを管理します。 詳細については、「ossutilのインストール」をご参照ください。

      3. 次のコマンドを実行して、OSSにQwen1.5-4B-Chatという名前のディレクトリを作成します。 

        ossutil mkdir oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

      4. 次のコマンドを実行して、モデルファイルをOSSにアップロードします。 

        ossutil cp -r ./Qwen1.5-4B-Chat oss://<Your-Bucket-Name>/Qwen1.5-4B-Chat

    3. ターゲットクラスターでPVとPVCを設定します。 詳細については、「静的にプロビジョニングされたOSSボリュームのマウント」をご参照ください。

      • 次の表に、PVのパラメータを示します。

        項目

        説明

        PVタイプ

        OSS

        ボリューム名

        llm-モデル

        アクセス証明書

        OSSバケットへのアクセスに使用するAccessKey IDとAccessKey secretを指定します。

        バケットID

        作成したOSSバケットの名前を指定します。

        OSSパス

        /models/Qwen1.5-4B-Chatなど、モデルのパスを選択します。

      • 次の表に、PVCのパラメータを示します。

        項目

        説明

        PVCタイプ

        OSS

        ボリューム名

        llm-モデル

        割り当てモード

        [既存のボリューム] を選択します。

        既存のボリューム

        [既存のボリューム] ハイパーリンクをクリックし、作成したPVを選択します。

    手順2: 推論サービスのデプロイ

    1. 次のコマンドを実行して、Qwen1.5-4B-Chatモデルから推論サービスをデプロイします。

      Arenaを使用して、カスタム推論サービスをデプロイします。 サービスの名前はrtp-llm-qwenで、バージョンはv1です。 サービスは1つのGPUを使用し、1つのレプリカを持ちます。 サービスの準備プローブが設定されます。 モデルは特別な種類のデータと見なされます。 したがって、-- dataパラメーターを設定して、llm-modelという名前のモデルPVCをコンテナーの /model/Qwen1.5-4B-Chatディレクトリにマウントします。

      単一のA10 GPUを使用する

      arena serve custom \
    --name=rtp-llm-qwen \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --restful-port=8000 \
    --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/rtp_llm:0.1.12-cuda12-ubuntu22.04 \
    --data=llm-model:/model/Qwen1.5-4B-Chat \
    "MODEL_TYPE=qwen_2 START_PORT=8000 CHECKPOINT_PATH=/model/Qwen1.5-4B-Chat TOKENIZER_PATH=/model/Qwen1.5-4B-Chat python3 -m maga_transformer.start_server"

      単一のT4 GPUを使用する

      arena serve custom \
    --name=rtp-llm-qwen \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --restful-port=8000 \
    --image=ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/rtp_llm:0.1.12-cuda12-ubuntu22.04 \
    --data=llm-model:/model/Qwen1.5-4B-Chat \
    "MODEL_TYPE=qwen_2 START_PORT=8000 CHECKPOINT_PATH=/model/Qwen1.5-4B-Chat TOKENIZER_PATH=/model/Qwen1.5-4B-Chat MAX_SEQ_LEN=2048 python3 -m maga_transformer.start_server"

      下表に、各パラメーターを説明します。

      パラメーター

      説明

      -- name

      推論サービスの名前。

      -- version

      推論サービスのバージョン。

      -- gpus

      各推論サービスレプリカのGPUの数。

      -- レプリカ

      推論サービスレプリカの数。

      -- 安らかポート

      公開する推論サービスのポート。

      -- 準備-プローブ-アクション

      準備プローブの接続タイプ。 有効な値: HttpGet、Exec、gRPC、およびTCPSocket。

      -- readiness-probe-action-option

      準備プローブの接続方法。

      -- readiness-probe-option

      準備完了プローブの設定。

      -- データ

      共有PVCをランタイム環境にマウントします。 値は、コロン (:) で区切られた2つの部分で構成されます。 コロンの左側にあるPVCの名前を指定します。 arena data listコマンドを実行して、クラスター内の既存のPVCのリストを照会できます。 コロンの右側にあるランタイム環境を指定します。 トレーニングデータまたはモデルのローカルパスを指定することもできます。 これにより、スクリプトは指定されたPVのデータまたはモデルにアクセスできます。

      -- イメージ

      推論サービスイメージのアドレス。

      期待される出力:

      service/rtp-llm-qwen-v1 created
deployment.apps/rtp-llm-qwen-v1-custom-serving created
INFO[0001] The Job rtp-llm-qwen has been submitted successfully
INFO[0001] You can run `arena serve get rtp-llm-qwen --type custom-serving -n default` to check the job status

      出力は、推論サービスがデプロイされていることを示します。

    2. 次のコマンドを実行してサービスの詳細情報を照会し、サービスの準備が整うまで待ちます。 

      arena serve get rtp-llm-qwen

      期待される出力:

      Name:       rtp-llm-qwen
Namespace:  default
Type:       Custom
Version:    v1
Desired:    1
Available:  1
Age:        1h
Address:    192.168.XX.XX
Port:       RESTFUL:8000
GPU:        1

Instances:
  NAME                                             STATUS   AGE  READY  RESTARTS  GPU  NODE
  ----                                             ------   ---  -----  --------  ---  ----
  rtp-llm-qwen-v1-custom-serving-696f699485-mn56v  Running  1h   1/1    0         1    cn-beijing.192.168.XX.XX

      出力は、ポッド (rtp-llm-qwen-v1-custom-serving-696f699485-mn56v) が推論サービスで実行されており、サービスを提供する準備ができていることを示します。

    手順3: 推論サービスの検証

    1. 次のコマンドを実行して、推論サービスとローカル環境間のポート転送を設定します。

      重要

      kubectl Port-forwardを使用して設定されたポート転送は、運用環境では信頼性、安全性、拡張性がありません。 開発とデバッグ用のみです。 本番環境では、このコマンドを使用してポート転送を設定しないでください。 ACKクラスターの運用に使用されるネットワークソリューションの詳細については、「Ingressの概要」をご参照ください。 

      kubectl port-forward svc/rtp-llm-qwen-v1 8000:8000

      期待される出力:

      Forwarding from 127.0.0.1:8000 -> 8000
Forwarding from [::1]:8000 -> 8000

    2. 次のコマンドを実行して、Triton推論サービスにリクエストを送信します。 

      curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json"  -d '{"model": "/model/Qwen1.5-4B-Chat/", "messages": [{"role": "user", "content": "Test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

      期待される出力:

      {"id":"chat-","object":"chat.completion","created":1717383026,"model":"AsyncModel","choices":[{"index":0,"message":{"role":"assistant","content":"OK. What test do you want me to run?"},"finish_reason":"stop"}],"usage":{"prompt_tokens":21,"total_tokens":31,"completion_tokens":10}}

      出力は、モデルが指定されたプロンプトに基づいて応答を生成できることを示します。 この例では、プロンプトはテスト要求です。

    (オプション) ステップ4: 環境をクリアする

    リソースが不要になった場合は、すぐに環境をクリアしてください。

    • 次のコマンドを実行して、推論サービスを削除します。 

      arena serve del rtp-llm-qwen

    • 次のコマンドを実行して、PVとPVCを削除します。 

      kubectl delete pvc llm-model
kubectl delete pv llm-model