Platform For AI:LLM インテリジェントルーターで推論効率を向上

アーキテクチャの概要

LLM インテリジェントルーターは、LLM Gateway、LLM Scheduler、および LLM Agent の 3 つのコアコンポーネントで構成されています。これらが連携して、バックエンド LLM 推論インスタンスクラスターにインテリジェントなトラフィック分散と管理を提供します。

コアプロセスは次のとおりです。

1. インスタンス登録: 推論サービスが起動した後、LLM Agent は推論エンジンが準備完了になるのを待機します。その後、インスタンスを LLM Scheduler に登録し、定期的にヘルスステータスとパフォーマンスメトリックの報告を開始します。

2. トラフィックイングレス: ユーザーリクエストは最初に LLM Gateway に到達します。

3. スケジューリング決定: LLM Gateway は LLM Scheduler にスケジューリングリクエストを送信します。

4. インテリジェントスケジューリング: LLM Scheduler は、スケジューリングポリシーと、各 LLM Agent から収集されたリアルタイムメトリックに基づいて、最適なターゲットインスタンスを選択します。

5. リクエスト転送: LLM Scheduler はその決定を LLM Gateway に返します。LLM Gateway は、元のユーザーリクエストをターゲットインスタンスに転送します。

6. リクエストバッファリング: すべてのバックエンドインスタンスが高負荷の場合、新しいリクエストは一時的に LLM Gateway キューにバッファリングされます。リクエストは、LLM Scheduler がそれらを転送する適切な時間を特定するまで待機し、リクエストの失敗を防ぎます。

コアコンポーネント

フェイルオーバーメカニズム

システムには、サービス安定性を確保するための多層フォールトトレランスメカニズムが含まれています。

• LLM Gateway (高可用性): ステートレスなトラフィックイングレスレイヤーとして、少なくとも 2 つのインスタンスをデプロイします。インスタンスが失敗した場合、トラフィックは自動的に他の正常なインスタンスに切り替わり、継続的なサービス可用性を維持します。

• LLM Scheduler (グレースフルデグラデーション): リクエストスケジューリングコンポーネントとして、グローバルスケジューリングを可能にするために単一インスタンスとして実行されます。LLM Scheduler が失敗した場合、LLM Gateway はハートビート障害後に自動的にグレースフルデグラデーションし、ポーリングポリシーを使用してリクエストをバックエンドインスタンスに直接転送します。これにより、サービス可用性は確保されますが、スケジューリングパフォーマンスは低下します。LLM Scheduler が回復すると、LLM Gateway は自動的にインテリジェントスケジューリングを再開します。

• 推論インスタンスまたは LLM Agent (自動削除): 推論インスタンスまたはそれに関連付けられた LLM Agent が失敗した場合、LLM Agent と LLM Scheduler 間のハートビートが中断されます。LLM Scheduler は、利用可能なサービスリストからインスタンスを直ちに削除し、新しいトラフィックの割り当てを停止します。インスタンスが回復してハートビートの報告を再開すると、自動的にサービスリストに再参加します。

複数の推論エンジンのサポート

/metrics エンドポイントによって返されるメトリックは、LLM 推論エンジンによって異なります。LLM Agent はこれらのメトリックを収集し、均一にフォーマットして報告します。LLM Scheduler は特定の推論エンジンの実装の詳細を知る必要はありません。統一されたメトリックに基づいてスケジューリングアルゴリズムを実装するだけで済みます。サポートされている LLM 推論エンジンとそれに対応するメトリックは次のとおりです。

ステップ 1: LLM インテリジェントルーターサービスをデプロイする

1. PAI コンソール にログインし、ページ上部でターゲットリージョンを選択します。

2. 左側のナビゲーションウィンドウで、Elastic Algorithm Service (EAS) をクリックします。目的のワークスペースを選択して、EAS ページに移動します。

3. [Deploy Service] をクリックし、[Scenario-based Model Deployment] > [Deploy LLM gateway] を選択します。

4. パラメーターを構成します。

   パラメーター		説明
   Basic Information	Service Name	カスタムサービス名 (例: llm_gateway) を入力します。
   Resource Information	Deployment Resources	LLM Gateway のリソース構成。高可用性を確保するため、Number of Replicas はデフォルトで 2 です。この値を維持することを推奨します。デフォルトの CPU は 4 コア、デフォルトの Memory は 8 GB です。
   	Scheduling configuration	LLM Scheduler のリソース構成。デフォルトの CPU は 2 コア、デフォルトの Memory は 4 GB です。
   	Scheduling Policy	バックエンド推論インスタンスのロードバランシングポリシーを選択します。デフォルトは Prefix cache です。詳細な比較および選択に関する推奨事項については、「スケジューリングポリシーの説明」をご参照ください。

5. [Deploy] をクリックします。サービスのステータスが [Running] に変わると、デプロイが成功します。

デプロイメントが成功すると、システムは自動的に group_<LLM_intelligent_router_service_name> という名前のサービスグループを作成します。Elastic Algorithm Service (EAS) ページに移動し、Canary Release タブをクリックして確認できます。

ステップ 2: LLM サービスをデプロイする

新しい LLM サービスをデプロイする際に、インテリジェントルーター機能を構成する必要があります。既存の LLM サービスを更新する際に、追加することはできません。

以下の手順では、Qwen3-8B のデプロイを例として使用します。

1. [Deploy Service] をクリックし、[Scenario-based Model Deployment] > [LLM Deployment] を選択します。

2. 以下の主要なパラメーターを構成します。

   パラメーター		値
   Basic Information	Model Settings	［Public Model］を選択します。次に、Qwen3-8B を検索して選択します。
   	Inference Engine	vLLM を選択します (推奨、OpenAI API と互換性があります)。 説明 LLM インテリジェントルーターサービスで Prefix cache スケジューリングポリシーを選択し、LLM サービスのデプロイ時に推論エンジンとして vLLM を選択した場合は、エンジンのプレフィックスキャッシュ機能を必ず有効にしてください。
   	Deployment Template	[Standalone] を選択します。システムは、テンプレートに基づいて推奨されるインスタンスタイプ、イメージ、およびその他のパラメーターを自動的に入力します。
   Features	LLM Intelligent Router	スイッチをオンにし、ドロップダウンリストからステップ 1 でデプロイした LLM インテリジェントルーターサービスを選択します。

3. 「Deploy」をクリックします。サービスデプロイには約5分かかります。サービスのステータスが「Running」に変更されたら、デプロイが完了します。

ステップ 3: サービスをテストする

すべてのリクエストは、バックエンド推論サービスではなく、LLM インテリジェントルーターサービスのエンドポイントに送信してください。

1. アクセス認証情報を取得する。

   1. LLM インテリジェントルーターサービスをクリックして、Overview ページに移動します。 Basic Information セクションで、View Endpoint Information をクリックします。

   2. [エンドポイント情報] ページで、Service-specific Traffic Entry の下にある Internet Endpoint と [トークン] をコピーします。

2. リクエスト URL を構築して呼び出す。

   • URL 構造: <LLM_intelligent_router_endpoint>/<LLM_service_API_path>

   • 例: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   リクエスト例:

   # <YOUR_GATEWAY_URL> と <YOUR_TOKEN> を実際の情報に置き換えてください。
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   応答の例:

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

テスト環境

• スケジューリングポリシー: prefix-cache

• テストデータ: ShareGPT_V3_unfiltered_cleaned_split.json (マルチターン対話データセット)

• 推論エンジン: vLLM (0.7.3)

• バックエンドインスタンス数: 5

テスト結果