人工智能平台 PAI：使用LLM智能路由提升推理效率

架构概览

LLM智能路由是由LLM Gateway、LLM Scheduler以及LLM Agent三个核心组件构成，它们协同工作，为后端的大语言模型推理实例集群提供智能的流量分发和管理。

核心流程如下：

1. 实例注册：推理服务启动后，LLM Agent等待推理引擎就绪，然后向LLM Scheduler注册该实例，并开始周期性上报健康状况和性能指标。

2. 流量接入：用户的请求首先到达LLM Gateway。

3. 调度决策：LLM Gateway向LLM Scheduler发起调度请求。

4. 智能调度：LLM Scheduler基于调度策略和从各LLM Agent收集的实时指标，选择一个当前最优的后端实例。

5. 请求转发：LLM Scheduler将决策结果返回给LLM Gateway，LLM Gateway随即把用户的原始请求转发到该目标实例。

6. 请求缓冲：当所有后端实例均处于高负载状态时，新请求会暂时缓存在LLM Gateway的队列中，等待LLM Scheduler找到合适的转发时机，以避免请求失败。

核心组件

Failover机制

系统设计了多层容错机制以保障服务稳定性：

• LLM Gateway（高可用）：作为无状态的流量接入层，建议部署至少2个实例。当某个实例故障时，流量会自动切换至其他健康实例，保证服务的持续可用性。

• LLM Scheduler（降级容错）：作为请求调度组件，单实例运行以实现全局调度。LLM Scheduler发生故障时，LLM Gateway会在心跳失败后自动降级，采用轮询策略将请求直接转发给后端实例。这保证了服务的可用性，但会牺牲调度性能。待LLM Scheduler恢复后，LLM Gateway会自动切换回智能调度模式。

• 推理实例或LLM Agent（自动摘除）：当某个推理实例或其伴生的LLM Agent发生故障时，LLM Agent与LLM Scheduler之间的心跳会中断。LLM Scheduler会立即将该实例从可用服务列表中移除，不再向其分配新流量。待实例恢复并重新上报心跳后，它将自动重新加入服务列表。

多推理引擎支持

由于不同LLM推理引擎的/metrics接口返回的指标信息存在差异，LLM Agent负责对这些指标进行采集并统一格式化处理后上报。LLM Scheduler无需关注具体推理引擎的实现细节，只需基于统一化指标进行调度算法的编写。目前支持的LLM推理引擎及其对应的采集指标如下：

步骤一：部署LLM智能路由服务

1. 登录PAI控制台，在页面上方选择目标地域。

2. 在左侧导航栏单击模型在线服务（EAS），选择目标工作空间后进入EAS。

3. 单击部署服务，选择场景化模型部署>LLM智能路由部署。

4. 配置参数：

   参数		描述
   基本信息	服务名称	自定义服务名称，例如llm_gateway。
   资源信息	部署资源	LLM Gateway的资源配置。为确保高可用，副本数默认为2，建议保持。默认 CPU 为4核，内存 为8 GB。
   	调度配置	LLM Scheduler的资源配置。默认 CPU 为2核，内存为 4 GB。
   	调度策略	选择后端推理实例的负载均衡策略，默认基于前缀缓存。详细对比和选择建议请参见调度策略详解与选择。

5. 单击部署。当服务状态变为运行中，表示部署成功。

部署成功后，系统会自动创建一个群组服务，命名格式为group_<LLM智能路由服务名称>。您可以前往模型在线服务（EAS）页面的灰度发布页签进行查看。

步骤二：部署LLM服务

必须在部署新LLM服务时配置智能路由功能，无法通过更新已有LLM服务来添加。

以部署 Qwen3-8B 为例，步骤如下：

1. 单击部署服务，选择场景化模型部署> LLM大语言模型部署。

2. 配置以下关键参数：

   参数		值
   基本信息	模型配置	选择公共模型，搜索并选择Qwen3-8B。
   	推理引擎	选择vLLM（推荐，兼容 OpenAI API）。 说明 如果LLM智能路由服务选择基于前缀缓存的调度策略，部署LLM服务时若推理引擎选择vLLM，请确保开启引擎的前缀缓存功能。
   	部署模板	选择单机。系统将根据模板自动填充推荐的实例规格、镜像等参数。
   服务功能	LLM智能路由	打开开关，从下拉列表中选择步骤一部署的LLM智能路由服务。

3. 单击部署，服务部署耗时约5分钟。当服务状态变为运行中，表示部署成功。

步骤三：调用测试

所有请求都应发送到LLM智能路由服务的访问地址，而不是后端的具体推理服务。

1. 获取访问凭证。

   1. 单击LLM智能路由服务进入概览页面，在基本信息区域单击查看调用信息。

   2. 在调用信息页面，复制服务独立流量入口下的公网调用地址和Token。

2. 构建请求URL并发起调用。

   • URL结构: <LLM智能路由访问地址>/<LLM服务API路径>

   • 示例: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   请求示例：

   # 将 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替换为您的实际信息
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "你好"}],
              "stream": true
            }'

   返回结果示例如下：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

测试环境

• 调动策略：prefix-cache

• 测试数据: ShareGPT_V3_unfiltered_cleaned_split.json (多轮对话数据集)

• 推理引擎: vLLM (0.7.3)

• 后端实例数: 5

测试结果