使用EASCMD或DSW部署服務 - Platform For AI

獲得訓練好的模型後，您可以使用EAS的命令列方式快速將其部署為模型線上服務。本文為您介紹如何使用EASCMD或DSW方式部署服務。

背景資訊

EAS支援以下兩種命令列部署方式。

本地用戶端（EASCMD）部署
通過用戶端工具EASCMD，您可以在自己的伺服器上對模型服務進行管理，包括建立、查看、刪除及更新服務。
DSW部署
由於DSW已預置EASCMD用戶端，因此使用DSW訓練的模型可以直接部署為線上服務。

前提條件

在開始執行操作前，請確認您已完成以下準備工作。

已獲得訓練好的模型。
已擷取阿里雲賬戶的AccessKey ID和AccessKey Secret，詳情請參見建立AccessKey。
通過DSW部署服務時，您需要建立DSW執行個體，詳情請參見建立DSW執行個體。

本地用戶端（EASCMD）部署

通過用戶端工具EASCMD，您可以在自己伺服器上對模型服務進行管理，包括建立、查看、刪除及更新服務。建立服務時支援配置多規格執行個體，詳情請參見進階配置：多規格執行個體選擇。以Windows64版本為例，說明如何使用EASCMD用戶端部署服務，具體操作步驟如下。

下載EASCMD用戶端並進行身份認證，詳情請參見下載並認證用戶端。

部署服務。

準備JSON檔案test.json，檔案樣本如下。

{
    "metadata": {
        //resource欄位表示使用專屬資源群組部署服務。
        "resource": "eas-r-9lkbl2jvdm0puv****",
        "instance": 1,
        "gpu": 0,
        "cpu": 1,
        "memory": 2000
    },
    //當使用公用資源群組部署服務時，需要通過cloud.computing配置指定機器型號。
    /*"cloud": {
        "computing": {
          "instance_type":"ecs.gn6i-c24g1.6xlarge"
        }
    },*/
    "name": "test_eascmd",
    "processor": "tensorflow_cpu_1.12",
    "model_path": "oss://examplebucket/linshi/pslr/"
}

其中：

model_path參數值需要替換為實際模型檔案在OSS Bucket的路徑；該檔案中的其他參數說明，詳情請參見服務模型所有相關參數說明。
cloud.computing：當使用公用資源群組部署服務時，需要通過該參數來指定執行個體使用的機型。

在JSON檔案所在目錄，執行以下命令部署服務。

eascmdwin64.exe create <test.json>

其中：<test.json>需要替換為實際的JSON檔案名稱。

系統返回如下類似結果。

[RequestId]: 1651567F-8F8D-4A2B-933D-F8D3E2DD****
+-------------------+----------------------------------------------------------------------------+
| Intranet Endpoint | http://166233998075****.cn-shanghai.pai-eas.aliyuncs.com/api/predict/test_eascmd |
|             Token | YjhjOWQ2ZjNkYzdiYjEzMDZjOGEyNGY5MDIxMzczZWUzNGEyMzhi****                   |
+-------------------+--------------------------------------------------------------------------+
[OK] Creating api gateway
[OK] Building image [registry-vpc.cn-shanghai.aliyuncs.com/eas/test_eascmd_cn-shanghai:v0.0.1-20221122114614]
[OK] Pushing image [registry-vpc.cn-shanghai.aliyuncs.com/eas/test_eascmd_cn-shanghai:v0.0.1-20221122114614]
[OK] Waiting [Total: 1, Pending: 1, Running: 0]
[OK] Waiting [Total: 1, Pending: 1, Running: 0]
[OK] Service is running

等待一段時間即可完成模型部署，您可以到模型線上服務（EAS）頁面查看模型部署情況，詳情請參見服務部署：控制台。

服務部署完成後，您也可以使用EASCMD用戶端命令來管理模型服務，詳情請參見命令使用說明。

DSW部署

DSW是PAI針對深度學習推出的互動式雲端開發環境，提供高效能GPU卡和開放的互動式編程環境。因為DSW已預置EASCMD用戶端工具，所以DSW訓練完成的模型可以直接部署至EAS，具體操作步驟如下。

進入DSW開發環境。
1. 登入PAI控制台。
2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。
3. 在頁面左上方，選擇使用服務的地區。
4. 在左側導覽列，選擇模型開發與訓練 > 互動式建模（DSW）。
5. 可選：在互動式建模（DSW）頁面的搜尋方塊，輸入執行個體名稱或關鍵字，搜尋執行個體。
6. 單擊需要開啟的執行個體操作列下的開啟。
您可以使用DSW預置的用戶端工具，也可以下載最新的EASCMD用戶端（Linux 64版本），並上傳到Notebook的任意目錄。
- 關於如何下載用戶端，詳情請參見下載並認證用戶端。
- 關於如何上傳檔案，詳情請參見上傳與下載資料檔案。
在DSW開發環境的頂部功能表列，單擊Terminal頁簽，即可開啟Terminal。
在Terminal中，進入用戶端工具上傳後的目前的目錄。將用戶端工具修改為可執行檔，並使用阿里雲帳號的AccessKey進行身份認證，詳情請參見下載並認證用戶端。
構造JSON檔案，並上傳到Notebook中用戶端所在的目錄。
- 關於如何構造JSON檔案，詳情請參見命令使用說明。
- 關於如何配置JSON檔案中的服務部署參數，詳情請參見服務模型所有相關參數說明。
- 關於如何上傳JSON檔案，詳情請參見上傳與下載資料檔案。
在指令碼上傳後的目前的目錄執行如下命令部署服務。
```
eascmd64 create <service_desc_json>
```
其中：<service_desc_json>需要替換為實際的JSON檔案名稱。
等待一段時間即可完成模型部署。

Platform For AI：服務部署：EASCMD或DSW

背景資訊

前提條件

本地用戶端（EASCMD）部署

DSW部署

相關文檔