Platform For AI：使用EAS一鍵部署Llama3模型

背景資訊

Llama-3開源80億參數和700億參數兩個尺寸，同步開源基座和對話模型。Llama-3在模型架構上繼承前代整體結構，將上下文長度從4K增加到了8K。在具體效能評測中，Llama-3基座模型和對話模型相比前代模型，在學科能力、推理能力、知識能力、理解能力等多個能力維度評測集上均獲得很高的效果提升。

部署EAS服務

1. 進入模型線上服務頁面。

   1. 登入PAI控制台。

   2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在工作空間頁面的左側導覽列選擇模型部署>模型線上服務（EAS），進入模型線上服務頁面。

2. 在模型線上服務（EAS）頁面，單擊部署服務，然後在情境化模型部署地區，單擊LLM大語言模型部署。

3. 在部署LLM大語言模型頁面，配置以下關鍵參數，其他參數使用預設配置。

   參數	描述
   服務名稱	自訂服務名稱。本方案使用的樣本值為：chat_llama3_demo。
   模型來源	選擇開源公用模型。
   模型類別	選擇llama3-8b。
   資源配置選擇	推薦使用華北2（北京）地區，執行個體規格推薦使用ml.gu7i.c8m30.1-gu30。 說明 如果上述資產庫存不足，也可使用ecs.gn6i-c24g1.12xlarge規格。

   

4. 單擊部署，期間大約為3分鐘，即可完成模型部署。

   當服務狀態為運行中時，表示服務部署成功。

啟動WebUI進行模型推理

1. 單擊目標服務的服務方式列下的查看Web應用。

2. 在WebUI頁面，進行模型推理驗證。

   在對話方塊下方的輸入介面輸入對話內容，例如請提供一個理財學習計劃，單擊Send，即可開始對話。

相關文檔

若需瞭解ChatLLM-WebUI的重要版本發布資訊，請參見ChatLLM-WebUI版本發布詳情。