Platform For AI:LLMインテリジェントルーターを使用した推論効率の向上

方法1: PAIコンソールでのサービスのデプロイ

1. EASページに移動します。

   1. Platform for AI (PAI) コンソールにログインします。

   2. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、モデルを配置するワークスペースを見つけ、その名前をクリックして [ワークスペースの詳細] ページに移動します。

   3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択して、[Elastic Algorithm Service (EAS)] ページに移動します。

2. [Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。

3. [サービスのデプロイ] ページで、次のいずれかのデプロイ方法を選択します。

   • [カスタムモデルのデプロイ] > [カスタムデプロイ] を選択します。

   • [シナリオベースのモデル展開] > [LLM展開] を選択します。 [LLMデプロイ] ページの [基本情報] セクションで、推論アクセラレーションをサポートするモデルタイプ (Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5など) を選択します。

4. [サービス設定] セクションで、[LLMインテリジェントルーター] をクリックし、[LLMインテリジェントルーター] をオンにしてから、ドロップダウンリストで [LLMインテリジェントルーターの作成] をクリックします。

5. [LLMインテリジェントルーターの作成] パネルでパラメーターを設定し、[デプロイ] をクリックします。 下表に、各パラメーターを説明します。

   パラメーター		説明
   基本情報	サービス名	プロンプトに従って、LLM Intelligent Routerサービスの名前を指定します。 例: llm_router.
   リソース設定	デプロイ	LLM Intelligent Routerサービスのリソースを設定します。 デフォルト設定: 最小インスタンス数: 2 LLM Intelligent Routerサービスを複数のインスタンスで実行できるようにするには、[最小インスタンス] を2に設定することを推奨します。 CPU: 2コア。 メモリ: 4 GB。
   	スケジュールリソース	LLMスケジューラのスケジューリングリソースを設定します。 デフォルト設定: CPU: 2コア。 メモリ: 4 GB。
   	推論の加速	イメージで使用する推論フレームワークを選択します。 LLMゲートウェイは、次の2つのフレームワークをサポートします。 BladeLLM推論の加速 オープンソースvLLM推論アクセラレーション

LLM Intelligent Routerサービスがデプロイされると、同時にサービスグループが作成されます。 サービスグループは、[Elastic Algorithm service (EAS)] ページの [グループサービス] タブで表示できます。 サービスグループの名前は、group_Name of an LLM Intelligent Router service形式で指定されます。

方法2: JSONを使用したサービスのデプロイ

1. EASページに移動します。

   1. Platform for AI (PAI) コンソールにログインします。

   2. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、モデルを配置するワークスペースを見つけ、その名前をクリックして [ワークスペースの詳細] ページに移動します。

   3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択して、[Elastic Algorithm Service (EAS)] ページに移動します。

2. Elastic Algorithm Service (EAS) ページで、[サービスのデプロイ] をクリックします。

3. [サービスのデプロイ] ページの [カスタムモデルのデプロイ] セクションで、[JSONデプロイ] をクリックします。

4. JSON Deploymentページの設定エディターセクションで、パラメーターを設定し、[デプロイ] をクリックします。

   次のサンプルコードに例を示します。

   説明

   • 単一障害点 (SPOF) を防ぐには、metadata.instanceパラメーターを少なくとも2に設定して、LLMインテリジェントルーターを複数のインスタンスで実行できるようにすることを推奨します。

   • LLMサービスがデプロイされる前にLLMインテリジェントルーターサービスがデプロイされている場合、LLMインテリジェントルーターサービスは、LLMサービスがデプロイされるまで待機状態のままです。

   • 基本設定

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "metadata": {
             "type": "LLMGatewayService",
             "cpu": 4,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router"
         }
     }

     LLM Intelligent Routerサービスをデプロイするには、metadata.typeパラメーターをLLMGatewayServiceに設定します。 その他のパラメーターについては、「モデルサービスのパラメーター」をご参照ください。 サービスが展開されると、EASはLLMインテリジェントルーターとLLMスケジューラを含む複合サービスを自動的に作成します。 LLM Intelligent Routerは、LLM Intelligent Routerサービスに指定したリソース設定を使用します。 LLMスケジューラのデフォルトのリソース設定は、4 vCPUと4 GiBのメモリです。

   • 詳細設定: 基本設定がビジネス要件を満たせない場合は、JSONファイルを準備して次の詳細設定を指定できます。

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "llm_gateway": {
             "infer_backend": "vllm",
             "max_queue_size": 128,
             "retry_count": 2,
             "wait_schedule_timeout": 5000,
             "wait_schedule_try_period": 500
         },
         "llm_scheduler": {
             "cpu": 4,
             "memory": 4000
         },
         "metadata": {
             "cpu": 2,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router",
             "type": "LLMGatewayService"
         }
     }

     次の表に、主要なパラメーターを示します。 その他のパラメーターについては、「モデルサービスのパラメーター」をご参照ください。

     パラメーター	説明
     llm_gateway.infer_バックエンド	LLMによって使用される推論フレームワーク。有効な値: vllm (デフォルト) bladellm
     llm_gateway.max_queue_サイズ	LLMインテリジェントルータのキャッシュキューの最大長。 デフォルト値: 128 バックエンド推論フレームワークの処理能力を超えると、LLMインテリジェントルータはリクエストをキューにキャッシュし、推論インスタンスが利用可能になったときにキャッシュされたリクエストを転送します。
     llm_gateway.retry_count	リトライの回数。 デフォルト値：2 リクエストの転送先のバックエンド推論インスタンスが異常な場合、LLMインテリジェントルーターはリクエストを別のインスタンスに転送しようとします。
     llm_gateway.wait_schedule_timeout	タイムアウト期間。 デフォルト値: 5000。 単位：ミリ秒。 LLMスケジューラがタイムアウト期間中使用できない場合、LLMインテリジェントルータは単純なラウンドロビンポリシーを使用して要求を分散します。
     llm_gateway.wait_schedule_try_ピリオド	wait_schedule_timeoutパラメーターで指定されたタイムアウト期間中に、LLMインテリジェントルータがLLMスケジューラへの接続を再試行する間隔。 デフォルト値: 500。 単位：ミリ秒。
     llm_scheduler.cpu	LLMスケジューラのvCPUの数。 デフォルト値: 4。
     llm_scheduler.memory	LLMスケジューラのメモリ。 デフォルト値: 4。 単位は USD / GiB です。
     llm_scheduler.instance_型	LLMスケジューラのインスタンスタイプ。 インスタンスタイプは、vCPUとメモリの数を定義します。 このパラメーターを指定した場合、vCPUとメモリの数を個別に指定する必要はありません。

方法1: PAIコンソールでのサービスのデプロイ

1. EASページに移動します。

   1. Platform for AI (PAI) コンソールにログインします。

   2. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、モデルを配置するワークスペースを見つけ、その名前をクリックして [ワークスペースの詳細] ページに移動します。

   3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択して、[Elastic Algorithm Service (EAS)] ページに移動します。

2. [Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。

3. [サービスのデプロイ] ページで、次のいずれかのデプロイ方法を選択し、重要なパラメーターを設定します。 その他のパラメーターについては、「PAIコンソールでのモデルサービスのデプロイ」をご参照ください。

   • [カスタムモデルの配置] セクションで、[カスタム配置] を選択します。 [サービスの作成] ページで、次の表に示す主要なパラメーターを設定します。

     パラメーター		説明
     モデルサービス情報	デプロイ方法	[イメージを使用したWebアプリのデプロイ] を選択します。
     	画像の選択	PAIイメージとカスタムイメージがサポートされています。 [イメージの選択] を [PAIイメージ] に設定した場合、chat-llm-webuiイメージを選択し、イメージバージョンの3.0-vllmまたは3.0-bladeを選択します。 [イメージの選択] を [イメージアドレス] に設定した場合、フィールドにカスタムイメージアドレスを入力します。 カスタムイメージの推論フレームワークは、BladeLLMまたはvllmである必要があります。
     サービス設定	LLMインテリジェントルーター	LLM Intelligent Routerをオンにし、展開したLLM Intelligent Routerサービスを選択します。

   • [シナリオベースのモデル展開] セクションで、[LLM展開] をクリックします。 [LLM展開] ページで、次の表に示す主要なパラメーターを設定します。

     パラメーター		説明
     基本情報	モデルタイプ	推論アクセラレーションをサポートするモデルタイプを、Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5から選択します。
     サービス設定	LLMインテリジェントルーター	LLM Intelligent Routerをオンにし、展開したLLM Intelligent Routerサービスを選択します。

4. パラメーターを設定したら、[デプロイ] をクリックします。

方法2: JSONを使用したサービスのデプロイ

この例では、PAIによって提供される組み込みイメージであるオープンソースのvLLM-0.3.3イメージが使用される。 以下の手順を実行します。

1. Elastic Algorithm Service (EAS) ページで、[サービスのデプロイ] をクリックします。

2. [サービスのデプロイ] ページの [カスタムモデルのデプロイ] セクションで、[JSONデプロイ] をクリックします。

3. JSON Deploymentページの設定エディターセクションで、パラメーターを設定し、[デプロイ] をクリックします。

   次のサンプルコードに例を示します。

   {
       "cloud": {
           "computing": {
               "instance_type": "ecs.gn7i-c16g1.4xlarge"
           }
       },
       "containers": [
           {
               "image": "eas-registry-vpc.<regionid>.cr.aliyuncs.com/pai-eas/chat-llm:vllm-0.3.3",
               "port": 8000,
               "script": "python3 -m vllm.entrypoints.openai.api_server --served-model-name llama2 --model /huggingface/models--meta-llama--Llama-2-7b-chat-hf/snapshots/c1d3cabadba7ec7f1a9ef2ba5467ad31b3b84ff0/"
           }
       ],
       "features": {
           "eas.aliyun.com/extra-ephemeral-storage": "50Gi"
       },
       "metadata": {
           "cpu": 16,
           "gpu": 1,
           "instance": 5,
           "memory": 60000,
           "group": "llm_group",
           "name": "vllm_service"
       }
   }

   次の表に、主要なパラメーターを示します。 その他のパラメーターについては、「モデルサービスのパラメーター」をご参照ください。

   • metadata.group: LLMサービスが属するサービスグループの名前。 LLMサービスは、LLMインテリジェントルーターサービスと同じサービスグループに属している必要があります。 このようにして、LLMサービスはLLMスケジューラに登録し、関連するメトリックを報告することができ、LLMインテリジェントルータはトラフィックを転送することができます。

     • コンソールでLLM Intelligent Routerサービスを展開する場合は、[Elastic Algorithm service (EAS)] ページの [グループサービス] タブで、LLM Intelligent Routerサービスが属するサービスグループの名前を表示する必要があります。 サービスグループの名前は、group_Name of an LLM Intelligent Router service形式です。

     • JSONを使用してLLMサービスをデプロイする場合は、サービスグループの名前をllm_groupとして指定します。

   • containers.image: この例では、PAIによって提供されるプリセットイメージが使用されます。 <regionid> は、サービスをデプロイするリージョンのIDに置き換える必要があります。 たとえば、サービスを中国 (北京) リージョンにデプロイする場合は、<regionid> をcn-Beijingに置き換えます。