Platform For AI：LLM智能路由：提升LLM推理系統整體效率

方式一：通過控制台部署

1. 登入PAI控制台，選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。

2. 在模型線上服務（EAS）頁面，單擊部署服務。

3. 在部署服務頁面，選擇以下任意一種部署方式：

   • 選擇自訂模型部署>自訂部署。

   • 選擇情境化模型部署>LLM大語言模型部署，並在基本資料地區，選擇支援推理加速的模型類別：Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5。

4. 在服務功能配置地區，單擊LLM智能路由，並開啟LLM智能路由開關，然後在下拉式清單中，單擊建立LLM智能路由。

5. 在建立LLM智能路由配置面板中，配置以下關鍵參數，然後單擊部署。

   參數		描述
   基本資料	服務名稱	按照控制台操作指引，自訂配置LLM智能路由服務名稱。例如llm_router。
   資源配置	部署資源	LLM-智能路由的資源配置。預設配置如下： 最小執行個體數：預設為2，建議您將最小執行個體數設定為2，以確保智能路由能夠多執行個體運行。 CPU：預設為2核。 記憶體：預設為4 GB。
   	調度資源	LLM-Scheduler調度資源。預設為： CPU：2核。 記憶體：4 GB。
   	推理加速	請選擇您在鏡像中使用的推理架構，目前，LLM網關支援以下兩種架構類型： PAI-BladeLLM自動推理加速 開源架構vllm推理加速

LLM智能路由服務部署成功後，會同步建立一個群組服務。您可以前往模型線上服務（EAS）頁面的服務群組頁簽進行查看。服務群組名稱命名格式為group_LLM智能路由服務名稱。

方式二：通過JSON獨立部署

1. 登入PAI控制台，選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。

2. 在模型線上服務（EAS）頁面，單擊部署服務。

3. 在自訂模型部署地區，單擊JSON獨立部署。

4. 在JSON文本編輯框中配置以下內容，然後單擊部署。

   設定檔內容樣本如下：

   說明

   • 為了防止單點故障，建議您將metadata.instance至少設定為2，以確保智能路由能夠多執行個體運行。

   • 如果先部署LLM智能路由服務，該服務將保持等待狀態直至大語言模型（LLM）服務部署成功。

   • 基礎配置：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "metadata": {
             "type": "LLMGatewayService",
             "cpu": 4,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router"
         }
     }

     您只需將metadata.type配置為LLMGatewayService，即可部署LLM智能路由服務。其他參數配置說明，請參見服務模型所有相關參數說明。服務部署成功後，EAS會自動建立一個組合服務，包含LLM-智能路由和LLM-Scheduler，其中LLM-智能路由的資源配置使用的就是該服務的配置；LLM-Scheduler預設的資源配置為4核CPU和4 GiB記憶體。

   • 高階配置：如果基礎配置無法滿足您的需求，您還可以參考以下高階配置，準備JSON檔案：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "llm_gateway": {
             "infer_backend": "vllm",
             "max_queue_size": 128,
             "retry_count": 2,
             "wait_schedule_timeout": 5000,
             "wait_schedule_try_period": 500
         },
         "llm_scheduler": {
             "cpu": 4,
             "memory": 4000
         },
         "metadata": {
             "cpu": 2,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router",
             "type": "LLMGatewayService"
         }
     }

     其中關鍵配置說明如下，其他參數配置說明，請參見服務模型所有相關參數說明。

     配置	說明
     llm_gateway.infer_backend	大語言模型使用的推理架構，支援： vllm（預設值） bladellm
     llm_gateway.max_queue_size	LLM智能路由緩衝隊列的最大長度，預設是128。 當超過後端推理架構處理能力時，待有可用推理執行個體時進行調度轉寄。
     llm_gateway.retry_count	重試次數，預設是2。當後端推理執行個體異常時，進行請求重試並轉寄到新的執行個體。
     llm_gateway.wait_schedule_timeout	逾時時間，預設為5000毫秒。當LLM-Scheduler不可用時間達到逾時時間後，LLM-智能路由使用簡單的Round-Robin策略進行請求分發。
     llm_gateway.wait_schedule_try_period	當LLM-Scheduler不可用時，系統在wait_schedule_timeout逾時時間內的重試頻率，預設為500毫秒。
     llm_scheduler.cpu	指定LLM-Scheduler的CPU，預設為4核。
     llm_scheduler.memory	指定LLM-Scheduler的Memory，預設為4 GiB。
     llm_scheduler.instance_type	指定LLM-Scheduler的執行個體規格。該規格已經定義了CPU核心數和記憶體大小，無需單獨配置CPU和Memory。

方式一：通過控制台部署

1. 登入PAI控制台，選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。

2. 在模型線上服務（EAS）頁面，單擊部署服務。

3. 在部署服務頁面，選擇以下任意一種部署方式，並配置關鍵參數，其他參數配置說明，請參見服務部署：控制台。

   • 選擇自訂部署，並配置以下關鍵參數。

     參數		描述
     模型服務資訊	部署方式	選擇鏡像部署AI-Web應用。
     	鏡像選擇	支援使用PAI平台鏡像或自訂鏡像： 選擇PAI平台鏡像，鏡像選擇chat-llm-webui，鏡像版本選擇3.0-vllm或3.0-blade。 選擇鏡像地址，並在文字框中輸入自訂鏡像地址。您的自訂鏡像後端推理架構需要是BladeLLM或vllm。
     服務功能配置	LLM智能路由	開啟LLM智能路由開關，並選擇已建立的LLM智能路由。

   • 選擇LLM大語言模型部署，並配置以下關鍵參數。

     參數		描述
     基本資料	模型類別	從如下模型中任意選擇一個支援推理加速的模型類別：Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5。
     服務功能配置	LLM智能路由	開啟LLM智能路由開關，並選擇已建立的LLM智能路由。

4. 參數配置完成後，單擊部署。

方式二：通過JSON獨立部署

本方案以PAI提供的預置鏡像-開源vLLM-0.3.3版本為例，具體操作步驟如下：

1. 在模型線上服務（EAS）頁面，單擊部署服務。

2. 在自訂模型部署地區，單擊JSON獨立部署。

3. 在JSON文本編輯框中配置以下內容，然後單擊部署。

   設定檔內容樣本如下：

   {
       "cloud": {
           "computing": {
               "instance_type": "ecs.gn7i-c16g1.4xlarge"
           }
       },
       "containers": [
           {
               "image": "eas-registry-vpc.<regionid>.cr.aliyuncs.com/pai-eas/chat-llm:vllm-0.3.3",
               "port": 8000,
               "script": "python3 -m vllm.entrypoints.openai.api_server --served-model-name llama2 --model /huggingface/models--meta-llama--Llama-2-7b-chat-hf/snapshots/c1d3cabadba7ec7f1a9ef2ba5467ad31b3b84ff0/"
           }
       ],
       "features": {
           "eas.aliyun.com/extra-ephemeral-storage": "50Gi"
       },
       "metadata": {
           "cpu": 16,
           "gpu": 1,
           "instance": 5,
           "memory": 60000,
           "group": "llm_group",
           "name": "vllm_service"
       }
   }

   其中關鍵配置說明如下，其他參數配置說明，請參見服務模型所有相關參數說明。

   • metadata.group：服務群組名稱。LLM服務必須與LLM智能路由在同一個群組下，這樣LLM服務才能向LLM-Scheduler進行註冊，並上報相關的Metric（指標），同時LLM智能路由才能進行流量轉寄。

     • 當使用控制台方式建立LLM智能路由時，您需要在模型線上服務（EAS）頁面的服務群組頁簽，查看LLM智能路由所在的服務群組名稱。命名格式為group_LLM智能路由名稱。

     • 當使用JSON獨立部署時，配置為llm_group。

   • containers.image：本方案使用PAI提供的預置鏡像，您需要將<regionid>替換為實際服務所在地區的ID，例如華北2（北京）配置為cn-beijing。