配置EAS服務使用GPU共用功能 - Platform For AI

在您使用專屬資源群組部署服務時，EAS提供了GPU共用功能，以便充分利用資源。您只需在部署服務時開啟GPU共用開關，系統便會在服務中部署虛擬化的GPU，EAS可以根據您配置的算力佔比和使用顯存來指定每個執行個體所需的資源。本文為您介紹如何配置GPU共用功能。

前提條件

已建立專屬資源群組併購買機器資源。具體操作，請參見使用專屬資源群組。

使用限制

當前GPU共用功能僅供白名單使用者受限申請使用，如果您希望使用GPU共用功能，請先提交工單，申請添加GPU共用功能使用白名單。
僅使用專屬資源群組部署服務時，支援配置GPU共用功能。

建立服務時配置GPU共用

通過控制台配置GPU共用

進入模型線上服務（EAS）頁面。
1. 登入PAI控制台。
2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應的工作空間。
3. 在工作空間頁面的左側導覽列選擇模型部署 > 模型線上服務（EAS），進入模型線上服務（EAS）頁面。
單擊部署服務，然後在自訂模型部署地區，單擊自訂部署。

在資源部署資訊地區，配置以下關鍵參數，其他參數配置說明，請參見服務部署：控制台。

參數	描述
資源群組種類	資源群組選擇已建立的專屬資源群組。
GPU共用	選中GPU共用複選框。
部署資源	配置以下配置項：單卡使用顯存（GB）：每個執行個體所需的GPU顯存數量，取值為整型，單位為GB。系統支援執行個體按顯存進行調度，實現單卡共用多執行個體功能。重要當前未開啟顯存的嚴格隔離，您需自行控制各執行個體的顯存使用量，不能超出申請量，避免出現顯存記憶體溢出。單卡算力佔比（%）：每個執行個體所需的單個GPU算力比例，取值為1~100之間的整數。例如填寫10，則表示單個GPU的10%算力。系統支援執行個體按算力進行調度，實現單卡共用多執行個體功能。

參數配置完成後，單擊部署。

通過本地用戶端配置GPU共用

下載並認證用戶端，以Windows 64版本為例。

在用戶端檔案所在目錄建立JSON格式的檔案，命名為service.json，檔案內容樣本如下。

{
    "containers": [
        {
            "image": "eas-registry-vpc.cn-beijing.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4",
            "port": 8000,
            "script": "python webui/webui_server.py --port=8000 --model-path=Qwen/Qwen1.5-7B-Chat"
        }
    ],
    "metadata": {
        "cpu": 8,
        "enable_webservice": true,
        "gpu_core_percentage": 5,
        "gpu_memory": 20,
        "instance": 1,
        "memory": 20000,
        "name": "testchatglm",
        "resource": "eas-r-fky7kxiq4l2zzt****",
        "resource_burstable": false
    },
    "name": "test"
}

其中關鍵參數說明如下。其他參數配置說明，請參見服務模型所有相關參數說明。

參數	描述
gpu_memory	每個執行個體所需的GPU顯存數量，取值為整型，單位為GB。系統支援執行個體按顯存進行調度，實現單卡共用多執行個體功能。如果使用顯存調度，則需要將gpu欄位配置為0。當gpu欄位配置為1時，表示執行個體獨佔整張GPU卡，此時gpu_memory欄位會被忽略。重要當前未開啟顯存的嚴格隔離，您需自行控制各執行個體的顯存使用量，不能超出申請量，避免出現顯存記憶體溢出。
gpu_core_percentage	每個執行個體所需的單個GPU算力比例，取值為1~100之間的整數，單位為百分比。例如填寫10，代表的是單個GPU的10%算力。系統支援執行個體按算力進行調度，實現單卡共用多執行個體功能。另外指定該參數時，必須指定gpu_memory參數，否則該參數不生效。
resource	已建立的專屬資源群組ID。如何查看專屬資源群組ID，請參見管理專屬資源群組。

開啟終端工具，在JSON檔案所在目錄，使用以下命令建立服務。更多操作說明，請參見命令使用說明。
```
eascmdwin64.exe create <service.json>
```
其中：<service.json>需要替換為您建立的JSON檔案名稱。

更新服務使用GPU共用

如果您在使用專屬資源群組部署服務時沒有使用GPU共用功能，您可以通過更新服務配置來開啟GPU共用功能。

通過控制台更新服務使用GPU共用

在模型線上服務（EAS）頁面，單擊目標服務操作列下的更新服務。
在更新服務頁面的資源部署資訊地區，配置資源群組種類、GPU共用、部署資源參數，參數配置詳情，請參見通過控制台配置GPU共用。
參數配置完成後，單擊更新。

通過本地用戶端更新服務使用GPU共用

下載並認證用戶端，以Windows 64版本為例。
在用戶端檔案所在目錄建立JSON格式的檔案，命名為instances.json，檔案內容樣本如下。
```
"metadata": {
        "gpu_memory": 2,
        "gpu_core_percentage": 5
    }
```
其中參數配置說明，請參見通過本地用戶端配置GPU共用。
開啟終端工具，在JSON檔案所在目錄，使用以下命令修改EAS服務使用GPU共用功能。
```
eascmdwin64.exe modify <service_name> -s <instances.json>
```
其中：<service_name>需要替換為EAS服務名稱；<instances.json>需要替換為建立的JSON檔案名稱。