Platform For AI：使用LLM智能路由提升推理效率

架構概覽

LLM智能路由是由LLM Gateway、LLM Scheduler以及LLM Agent三個核心組件構成，它們協同工作，為後端的大語言模型推理執行個體叢集提供智能的流量分發和管理。

核心流程如下：

1. 執行個體註冊：推理服務啟動後，LLM Agent等待推理引擎就緒，然後向LLM Scheduler註冊該執行個體，並開始周期性上報健康情況和效能指標。

2. 流量接入：使用者的請求首先到達LLM Gateway。

3. 調度決策：LLM Gateway向LLM Scheduler發起調度請求。

4. 智能調度：LLM Scheduler基於調度策略和從各LLM Agent收集的即時指標，選擇一個當前最優的後端執行個體。

5. 請求轉寄：LLM Scheduler將決策結果返回給LLM Gateway，LLM Gateway隨即把使用者的原始請求轉寄到該目標執行個體。

6. 請求緩衝：當所有後端執行個體均處於高負載狀態時，新請求會暫時緩衝在LLM Gateway的隊列中，等待LLM Scheduler找到合適的轉寄時機，以避免請求失敗。

核心組件

Failover機制

系統設計了多層容錯機制以保障服務穩定性：

• LLM Gateway（高可用）：作為無狀態的流量接入層，建議部署至少2個執行個體。當某個執行個體故障時，流量會自動切換至其他健康執行個體，保證服務的持續可用性。

• LLM Scheduler（降級容錯）：作為請求調度組件，單一實例運行以實現全域調度。LLM Scheduler發生故障時，LLM Gateway會在心跳失敗後自動降級，採用輪詢策略將請求直接轉寄給後端執行個體。這保證了服務的可用性，但會犧牲調度效能。待LLM Scheduler恢複後，LLM Gateway會自動切換回智能調度模式。

• 推理執行個體或LLM Agent（自動摘除）：當某個推理執行個體或其伴生的LLM Agent發生故障時，LLM Agent與LLM Scheduler之間的心跳會中斷。LLM Scheduler會立即將該執行個體從可用服務列表中移除，不再向其分配新流量。待執行個體恢複並重新上報心跳後，它將自動重新加入服務列表。

多推理引擎支援

由於不同LLM推理引擎的/metrics介面返回的指標資訊存在差異，LLM Agent負責對這些指標進行採集並統一格式化處理後上報。LLM Scheduler無需關注具體推理引擎的實現細節，只需基於統一化指標進行調度演算法的編寫。目前支援的LLM推理引擎及其對應的採集指標如下：

步驟一：部署LLM智能路由服務

1. 登入PAI控制台，在頁面上方選擇目標地區。

2. 在左側導覽列單擊模型在线服务（EAS），選擇目標工作空間後進入EAS。

3. 單擊部署服务，選擇场景化模型部署>LLM智能路由部署。

4. 配置參數：

   參數		描述
   基本信息	服务名称	自訂服務名稱，例如llm_gateway。
   资源信息	部署资源	LLM Gateway的資源配置。為確保高可用，副本数預設為2，建議保持。預設 CPU 為4核，記憶體 為8 GB。
   	调度配置	LLM Scheduler的資源配置。預設 CPU 為2核，記憶體為 4 GB。
   	调度策略	選擇後端推理執行個體的負載平衡策略，預設基于前缀缓存。詳細對比和選擇建議請參見調度策略詳解與選擇。

5. 單擊部署。當服務狀態變為运行中，表示部署成功。

部署成功後，系統會自動建立一個群組服務，命名格式為group_<LLM智能路由服務名稱>。您可以前往模型在线服务（EAS）頁面的灰度发布頁簽進行查看。

步驟二：部署LLM服務

必須在部署新LLM服務時配置智能路由功能，無法通過更新已有LLM服務來添加。

以部署 Qwen3-8B 為例，步驟如下：

1. 單擊部署服务，選擇场景化模型部署> LLM大语言模型部署。

2. 配置以下關鍵參數：

   參數		值
   基本信息	模型配置	選擇公共模型，搜尋並選擇Qwen3-8B。
   	推理引擎	選擇vLLM（推薦，相容 OpenAI API）。 說明 如果LLM智能路由服務選擇基于前缀缓存的調度策略，部署LLM服務時若推理引擎選擇vLLM，請確保開啟引擎的首碼緩衝功能。
   	部署模板	選擇單機。系統將根據模板自動填滿推薦的執行個體規格、鏡像等參數。
   服务功能	LLM智能路由	開啟開關，從下拉式清單中選擇步驟一部署的LLM智能路由服務。

3. 單擊部署，服務部署耗時約5分鐘。當服務狀態變為运行中，表示部署成功。

步驟三：調用測試

所有請求都應發送到LLM智能路由服務的訪問地址，而不是後端的具體推理服務。

1. 擷取訪問憑證。

   1. 單擊LLM智能路由服務進入概览頁面，在基本信息地區單擊查看调用信息。

   2. 在調用資訊頁面，複製服务独立流量入口下的公网调用地址和Token。

2. 構建請求URL並發起調用。

   • URL結構: <LLM智能路由訪問地址>/<LLM服務API路徑>

   • 樣本: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   請求樣本：

   # 將 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替換為您的實際資訊
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "你好"}],
              "stream": true
            }'

   返回結果樣本如下：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

測試環境

• 調動策略：prefix-cache

• 測試資料: ShareGPT_V3_unfiltered_cleaned_split.json (多輪對話資料集)

• 推理引擎: vLLM (0.7.3)

• 後端執行個體數: 5

測試結果