Platform For AI：服務部署：控制台

控制台上傳部署

在模型線上服務頁面，您可直接將訓練完成的模型或開源社區模型部署為線上服務。

步驟一：進入模型線上服務頁面

1. 登入PAI控制台。

2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應的工作空間。

3. 在工作空間頁面的左側導覽列選擇模型部署 > 模型線上服務（EAS），進入模型線上服務（EAS）頁面。

步驟二：選擇部署方式

1. 在推理服務頁簽，單擊部署服務。

2. 在部署服務頁面，選擇並單擊相應的部署方式。

   部署方式		描述
   自訂模型部署	自訂部署	提供更靈活的部署方式。支援通過Processor的形式，或鏡像、模型、代碼、運行命令和三方庫的方式，將您自己的模型部署為線上服務或AI-Web應用。具體的參數配置說明，請參見自訂部署方式參數配置說明。
   	JSON獨立部署	根據輸入的JSON檔案內容來完成模型部署。具體的參數配置說明，請參見JSON獨立部署方式參數配置說明。
   情境化模型部署 說明 關於各個情境的參數配置說明，請參見情境化部署方式參數配置說明。	AI繪畫-SDWebUI部署	一鍵部署基於開源SDWebUI繪畫的AIGC服務，提供Web應用和API調用兩種部署方式，通過使用者與計算資源分離實現企業級應用。
   	LLM大語言模型部署	一鍵部署支援WebUI和API調用的LLM應用，您可以利用LangChain框架組成企業知識庫，以實現智能問答和自動化功能。通過Blade內建推理加速，實現簡單的部署方式及較高性價比的推理方案。
   	大模型RAG對話系統部署	一鍵部署整合了大語言模型（LLM）和檢索增強產生（RAG）技術的對話系統服務。適用於問答、摘要產生和依賴外部知識的自然語言處理任務。
   	AI視頻產生-ComfyUI部署	一鍵部署基於ComfyUI和Stable Video Diffusion模型的AI視頻產生服務，協助您完成社交平台短視頻內容產生、動畫製作等任務。
   	ModelScope模型部署	一鍵部署ModelScope開源模型，快速啟動模型服務。
   	HuggingFace模型部署	一鍵部署HuggingFace開源模型，快速啟動模型服務。
   	Triton部署	利用基於Trition Server的推理服務引擎，將TensorRT、TensorFlow、PyTorch或ONNX等多種AI架構的模型一鍵部署為線上推理服務。
   	TFServing部署	利用基於TensorFlow Serving的推理服務引擎，將Tensorflow標準的SavedModel格式的模型一鍵部署為線上推理服務。

步驟三：部署服務

根據您選擇的部署方式，請參考以下內容配置相應的參數。參數配置完成後，單擊部署。等待一段時間，當服務狀態變為運行中時，表明服務部署成功。

自訂部署方式參數配置說明

1. 在建立服務頁面的模型服務資訊地區，配置參數。

   • 服務名稱：根據介面提示，自訂服務名稱。

   • 部署方式：支援鏡像部署服務、鏡像部署AI-Web應用、模型+processor部署服務三種部署方式。

     說明

     在複雜的模型推理情境中，例如AIGC、視頻處理等情境，推理耗時比較長，需要開啟非同步服務開關，實現非同步推理服務，詳情請參見部署非同步推理服務。僅當部署方式選擇鏡像部署服務和模型+processor部署服務時，支援開啟非同步服務。

     • 鏡像部署服務：如果您想通過鏡像、代碼及模型掛載的方式快速進行AI推理服務的部署，則選擇該部署方式。

     • 鏡像部署AI-Web應用：如果您想將服務部署為一個AI-Web應用，需要啟動一個WebServer，則選擇該方式進行部署。

     • 模型+processor部署服務：如果您想通過模型和Processor（包括預置Processor和自訂Processor）進行推理服務的部署，則選擇該部署方式。

     鏡像/鏡像AI-Web部署

     部署方式選擇鏡像部署服務和鏡像部署AI-Web應用時，參數配置說明如下表所示：

     參數	描述
     鏡像選擇	支援以下幾種配置方式： PAI平台鏡像：由阿里雲PAI產品提供的多種官方鏡像。 使用者自訂鏡像：選擇已建立的自訂鏡像。關於如何建立自訂鏡像，詳情請參見自訂鏡像。 鏡像地址：支援輸入用於部署模型服務的鏡像地址，例如registry.cn-shanghai.aliyuncs.com/xxx/image:tag。您可以使用PAI官方公開鏡像地址，也可以使用自訂鏡像地址。鏡像地址的擷取方式，詳情請參見自訂鏡像。 重要 選擇的鏡像地址和部署的服務需要在同一個地區。 如果您使用私人倉庫中的鏡像，則需要單擊輸入，輸入鏡像倉庫使用者名稱和鏡像倉庫密碼。
     填寫模型配置	單擊填寫模型配置，來進行模型配置。支援通過以下三種方式配置模型檔案。 OSS掛載 配置OSS源地址路徑，即選擇OSS Bucket路徑。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取OSS路徑中的檔案。 NAS掛載 NAS掛載點：選擇NAS檔案系統和掛載點，EAS服務通過掛載點來訪問NAS檔案系統。如何建立通用型NAS檔案系統，詳情請參見建立檔案系統。 NAS源路徑：需要掛載的NAS中的源路徑，即NAS執行個體內部的檔案系統路徑。 掛載路徑：掛載到服務執行個體中的目標路徑，用來讀取NAS路徑中的檔案。 PAI模型掛載 根據模型名稱和模型版本選擇登入的模型。關於如何查看登入的模型，詳情請參見註冊及管理模型。 配置掛載路徑：掛載服務執行個體中的目標路徑，用來讀模數型檔案。
     填寫代碼配置	單擊填寫代碼配置，進行代碼配置，支援使用以下幾種掛載方式，來讀取服務部署過程依賴的代碼資料。 OSS掛載 配置OSS源地址路徑，即選擇OSS Bucket路徑。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取OSS路徑中的檔案。 NAS掛載 NAS掛載點：配置NAS掛載點地址，EAS服務通過掛載點來訪問NAS檔案系統。 NAS源路徑：需要掛載的NAS中的源路徑。 掛載路徑：掛載服務執行個體中的目標路徑，用來讀取NAS路徑中的檔案。 Git掛載 Git地址：配置Git代碼地址。 掛載路徑：掛載服務執行個體中的目標路徑，用來讀取Git代碼地址中的代碼檔案。 PAI資料集掛載 選擇已建立的資料集，如果沒有資料集，您可以單擊建立資料集來建立一個新的資料集。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取PAI資料集。 PAI代碼掛載 選擇已建立的代碼集，如果沒有代碼集，您可以單擊建立代碼配置來建立一個新的代碼集。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取PAI代碼集。
     填寫三方庫配置列表	單擊填寫三方庫配置列表來配置三方庫。支援以下兩種方式配置第三方庫。 三方庫列表：直接在下方文字框中輸入三方庫。 requirements.txt檔案路徑：將第三方庫寫入requirements.txt檔案中，在下方文字框中指定該requirements.txt檔案的路徑。
     填寫環境變數	單擊填寫環境變數來配置環境變數。 組態變數名和變數值： 變數名：鏡像執行時的環境變數名稱。 變數值：鏡像執行時的環境變數取值。
     運行命令	鏡像的啟動命令，例如：python /run.py。 同時您需要輸入連接埠號碼，即鏡像啟動後監聽的本地HTTP連接埠。 重要 由於EAS引擎監聽固定的8080和9090連接埠，因此連接埠需要避開8080和9090連接埠。

     模型+processor部署

     部署方式選擇模型+processor部署服務時，參數配置如下表所示：

     參數	描述
     模型檔案	您可以通過以下任何一種方式配置模型檔案： OSS掛載 選擇模型檔案所在的OSS路徑。 上傳資料 選擇當前地區下的OSS路徑。 單擊查看本地檔案或拖拽上傳檔案，並根據提示上傳本地模型檔案。 公網下載地址 單擊公網下載地址，並在下方文字框中輸入可以公開訪問的URL地址。 模型選擇 根據模型名稱和模型版本選擇登入的模型。關於如何查看登入的模型，詳情請參見註冊及管理模型。
     Processor種類	支援所有的預置官方Processor和自訂Processor，關於預置官方Processor的更多資訊，詳情請參見預置Processor使用說明。
     模型類別	當Processor種類選擇EasyVision(CPU)、EasyVision(GPU)、EasyTransfer(CPU)、EasyTransfer(GPU)、EasyNLP、EasyCV時，支援配置該參數。上述每個Processor種類對應的模型類別不同，請根據業務使用情境選擇。
     Processor語言	當Processor種類選擇自訂processor時，支援配置。 支援選擇cpp、java及python。
     Processor包	當Processor種類選擇自訂processor時，支援配置。您可以通過以下任何一種方式配置Processor包： OSS檔案匯入。 單擊OSS檔案匯入，並選擇檔案所在的OSS路徑。 本地上傳： 單擊本地上傳。 選擇當前地區下的OSS Bucket路徑。 單擊查看本地檔案或拖拽上傳檔案，並根據提示上傳已下載的Processor檔案。 系統會將檔案上傳至當前地區的官方OSS路徑，並自動設定Processor包。 說明 通過本地上傳的方式，可以使系統在模型部署時，快速載入Processor。 公網下載地址。 單擊公網下載地址，並在下方文字框中輸入可以公開訪問的URL地址。
     Processor主檔案	當Processor種類選擇自訂processor時，支援配置。自訂Processor包的主檔案。
     填寫掛載配置	單擊填寫掛載配置，進行掛載配置，支援以下幾種掛載方式。 OSS掛載 配置OSS源地址路徑，即選擇OSS Bucket路徑。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取OSS路徑中的檔案。 NAS掛載 NAS掛載點：配置NAS掛載點地址，EAS服務通過掛載點來訪問NAS檔案系統。 NAS源路徑：需要掛載的NAS中的源路徑。 掛載路徑：掛載服務執行個體中的目標路徑，用來讀取NAS路徑中的檔案。 PAI資料集掛載 選擇已建立的資料集，如果沒有資料集，您可以單擊建立資料集來建立一個新的資料集。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取PAI資料集。 PAI代碼掛載 選擇已建立的代碼集，如果沒有代碼集，您可以單擊建立代碼配置來建立一個新的代碼集。 配置掛載路徑，即配置掛載服務執行個體中的目標路徑，用來讀取PAI代碼集。
     填寫環境變數	單擊填寫環境變數來配置環境變數。 組態變數名和變數值： 變數名：鏡像執行時的環境變數名稱。 變數值：鏡像執行時的環境變數取值。

2. 在建立服務的資源部署資訊地區，配置參數。

   參數	描述
   資源群組種類	支援選擇公用資源群組或已購買（建立）的專屬資源群組。如何購買專屬資源群組，詳情請參見使用專屬資源群組。 說明 建議在任務量相對較少、對任務時效性要求不高的情境下使用公用資源群組。
   GPU共用	當資源群組種類選擇專屬資源群組時，支援開啟GPU共用功能。具體配置方法，請參見進階配置：GPU共用。 說明 當前GPU共用功能僅供白名單使用者受限申請使用，如果您希望使用GPU共用功能，請先提交工單，申請添加GPU共用功能使用白名單。
   執行個體數	建議配置多個服務執行個體，以避免單點部署帶來的風險。 當資源群組種類選擇專屬資源群組時，您需要為每個服務執行個體配置CPU、記憶體（MB）和GPU參數。
   資源配置方法	僅資源群組種類選擇公用資源群組時，支援配置該參數。支援以下兩種配置方式： 一般資源配置 支援選擇單個CPU或GPU執行個體規格。 性價比資源配置 支援配置多規格執行個體或搶佔型執行個體。 搶佔型保留時間長度：您可以為搶佔型執行個體設定1小時保護期，即執行個體搶佔成功後，預設至少可以使用1小時。 部署資源：支援同時配置常規型資源或搶佔型資源，並按照配置規格的先後順序作為優先順序排序來拉起資源，最多支援添加5個資源類型。如果您設定搶佔型資源，需要為該機器資源設定出價上限，用來自動競價搶佔資源。
   彈性資源集區	僅資源群組種類選擇專屬資源群組時，支援配置該參數。 您可以開啟開啟彈性資源集區開關並參考資源配置方法進行公用資源配置，為部署在專屬資源群組中的服務開啟彈性資源集區能力。 彈性資源集區配置完成後，當服務擴容時遇到機器資源不足時，新擴出來的執行個體會自動啟動在已配置的隨用隨付的公用資源上，並以隨用隨付的方式來進行計費；在縮容時會優先縮減公用資源群組中的服務執行個體。更多詳細內容，請參見彈性資源集區。
   系統硬碟配置	僅資源群組種類選擇公用資源群組時，支援配置該參數。 單擊系統硬碟配置，為EAS服務配置額外系統硬碟，單位為GB，取值範圍為0~2000 GB。EAS免費贈送30 GB系統硬碟，如果此處配置20 GB，則實際可用的儲存空間為：免費的30 GB+購買的20 GB=50 GB。 額外購買的系統硬碟按容量和使用時間長度計費，計費詳情請參見模型線上服務（EAS）計費說明。

3. 可選：在專用網路配置地區，配置VPC、交換器和安全性群組名稱參數，為部署在公用資源群組中的EAS服務開通VPC高速直連。

   網路連通後，該VPC環境中的ECS伺服器等即可通過建立的彈性網卡訪問部署在公用資源群組中的EAS服務，同時EAS服務也可以訪問VPC環境中的其他雲產品。

4. 可選：在服務功能配置地區，配置參數。

   參數	描述
   記憶體緩衝加速	EAS通過將模型檔案快取到本地目錄中，來提高讀取資料的速度，減少延時。更多關於該功能的詳細介紹及配置方法，請參見進階配置：記憶體緩衝本地目錄。
   設定服務響應逾時時間	設定服務響應逾時時間長度，預設為15秒。
   共用記憶體配置	設定共用記憶體大小，單位為GB。
   Job模式	單擊Job模式，並開啟開關，您可以將推理服務部署成彈性Job服務。更多關於彈性Job服務的內容介紹，請參見彈性Job服務功能介紹。
   儲存服務調用記錄	支援將服務所有的請求和響應記錄持久化儲存到MaxCompute資料表或Log ServiceSLS中。開啟開關，並選擇儲存記錄方式： 巨量資料MaxCompute MaxCompute專案：在下拉式清單中選擇已建立的專案。如果沒有可選的專案，您也可以單擊建立MaxCompute專案進行建立，詳情請參見通過MaxCompute控制台建立專案。 MaxCompute資料表：配置資料表名稱，部署服務時，系統會自動在MaxCompute專案中建立資料表。 Log ServiceSLS 選擇SLS Project：Log Service中的資源嵌入式管理單元，用於資源隔離和控制。選擇已建立的專案，如果沒有可選的專案，您可以單擊前往建立SLS Project進行建立，詳情請參見管理Project。 logstore：日誌庫（Logstore）是Log Service中日誌資料的採集、儲存和查詢單元。配置logstore，部署服務時，系統會自動在SLS Project專案中建立logstore。
   專屬網關	單擊專屬網關，並在下拉式清單中選擇已建立的專屬網關。通過配置專屬網關，不僅可以增強存取控制與安全性，還可以提升網路訪問服務的效率。如何建立專屬網關以及配置存取控制，詳情請參見進階配置：服務專屬網關。
   健全狀態檢查	開啟健全狀態檢查開關，為服務配置健全狀態檢查功能。更多關於該功能的詳細介紹及配置方法，請參見進階配置：健全狀態檢查。
   LLM智能路由	開啟開關，並選擇LLM智能路由。如果沒有可選的LLM智能路由，您可以單擊建立LLM智能路由進行建立，詳情請參見LLM智能路由：提升LLM推理系統整體效率。 LLM智能路由是一種特殊的EAS服務，可以與LLM推理服務綁定。當LLM推理服務有多個後端執行個體時，LLM智能路由能夠根據後端負載進行動態分發，保證後端執行個體處理的算力和顯存儘可能均勻，提升叢集資源使用水位。

5. 在對應配置編輯地區，顯示服務配置的相關資訊。您可以根據需要補充一些在介面不支援配置的配置項，詳情請參見建立服務。

   

JSON獨立部署方式參數配置說明

參照服務模型所有相關參數說明，準備用於部署服務的JSON檔案。在JSON獨立部署頁面，將JSON檔案內容填入JSON文本編輯框中，然後單擊部署。

情境化部署方式參數配置說明

以下是您所選部署情境的參數配置說明：

管理EAS模型線上服務