Elastic GPU Service：通過Docker命令列使用cGPU服務

安裝cGPU服務

無論您是企業認證使用者還是個人實名認證使用者，推薦您通過ACK的Docker運行時環境安裝和使用cGPU服務。

1. 建立叢集。

   具體操作，請參見建立ACK託管叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇應用 > 雲原生AI套件。

在雲原生AI套件頁面，單擊一鍵部署。

3. 在基礎能力地區，選中調度策略擴充（批量任務調度、GPU共用、GPU拓撲感知）。

4. 單擊頁面底部的部署雲原生AI套件。

   組件安裝成功後，在雲原生AI套件頁面的組件列表中能看到已安裝的共用GPU組件ack-ai-installer。

使用cGPU服務

本文以ecs.gn6i-c4g1.xlarge為例示範2個容器共用1張顯卡。

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

運行cGPU服務

1. 執行以下命令，建立容器並設定容器內可見的顯存。

   本樣本中，設定ALIYUN_COM_GPU_MEM_CONTAINER和ALIYUN_COM_GPU_MEM_DEV環境變數指定顯卡的總顯存和容器內可見的顯存。例如建立2個容器：

   • gpu_test1：分配6 GiB顯存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   • gpu_test2：分配8 GiB顯存。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   說明

   該命令以使用TensorFlow鏡像nvcr.io/nvidia/tensorflow:19.10-py3為例，請根據實際情況更換為您自己的容器鏡像。使用TensorFlow鏡像搭建TensorFlow深度學習架構的操作，請參見部署NGC環境構建深度學習開發環境。

2. 執行以下命令，查看容器的顯存等GPU資訊。

   sudo docker exec -i gpu_test1 nvidia-smi

   以gpu_test1為例，容器gpu_test1中可見的顯存為6043 MiB，如下圖所示：

通過procfs節點查看cGPU服務

cGPU服務運行時會在/proc/cgpu_km下產生並自動管理多個procfs節點，您可以通過procfs節點查看和配置cGPU服務相關的資訊。

1. 執行以下命令，查看procfs節點資訊。

   ls /proc/cgpu_km/

   執行結果如下所示：

   

   節點資訊說明

   節點資訊	讀寫類型	說明
   0	讀寫	cGPU服務會針對GPU執行個體中的每張顯卡產生一個目錄。並使用數字作為目錄名稱，例如0、1、2。 本樣本中只有一張顯卡，對應的目錄為0。
   default_memsize	讀寫	如果沒有設定ALIYUN_COM_GPU_MEM_CONTAINER參數，預設為新建立的容器分配的顯存大小。
   inst_ctl	讀寫	控制節點。
   upgrade	讀寫	控制cGPU服務的熱升級。
   version	唯讀	cGPU的版本。

2. 執行以下命令，查看GPU執行個體的顯卡目錄內容。

   本樣本中，以顯卡0為例。

   ls /proc/cgpu_km/0

   執行結果如下所示：

   

   顯卡目錄內容說明

   顯卡目錄	讀寫類型	說明
   012b2edccd7a或0852a381c0cf	讀寫	容器對應的目錄。 cGPU服務會針對運行在GPU執行個體中的每個容器產生一個的目錄，並使用容器ID作為目錄名稱。 說明 您可以執行docker ps查看已建立的容器。
   free_weight	唯讀	用於查詢和修改顯卡上可用的權重。 如果free_weight=0，新建立容器的權重值為0，該容器不能擷取GPU算力，不能用於運行需要GPU算力的應用。
   major	唯讀	表示cGPU的major number，即不同的裝置類型。
   max_inst	讀寫	用於設定容器的最大數量，取值範圍為1~25。
   policy	讀寫	cGPU服務支援以下算力調度策略： 0：平均調度。每個容器佔用固定的時間片，時間片佔比為1/max_inst。 1：搶佔調度。每個容器佔用盡量多的時間片，時間片佔比為1/當前容器數。 2：權重搶佔調度。當ALIYUN_COM_GPU_SCHD_WEIGHT的取值大於1時，自動使用權重搶佔調度。 3：固定算力調度。用於固定算力的百分比。 4：算力弱調度。隔離性弱於搶佔調度。 5：原生調度。即GPU驅動本身的調度方式。 您可以通過修改policy的值即時調整調度策略。更多調度策略說明，請參見cGPU服務使用樣本。
   prio_ratio	讀寫	線上和離線混合使用情境下，高優先順序容器最大可以搶佔的算力。取值範圍：20~99。

3. 執行以下命令，查看容器對應的目錄內容。

   本樣本中，以012b2edccd7a容器為例。

   ls /proc/cgpu_km/0/012b2edccd7a

   執行結果如下所示：

   

   容器目錄內容說明

   容器目錄	讀寫類型	說明
   highprio	讀寫	用於設定容器的優先順序，預設值為0。 當ALIYUN_COM_GPU_HIGH_PRIO參數取值為1時，表示容器最大可以搶佔prio_ratio參數的算力。 說明 該功能用於線上和離線混合使用情境。
   id	唯讀	容器的ID。
   memsize	讀寫	用於設定容器內的顯存大小。cGPU服務會根據ALIYUN_COM_GPU_MEM_DEV參數自動設定此值。
   meminfo	唯讀	包括容器內剩餘顯存容量、正在使用GPU的進程ID及其顯存用量。輸出如下所示： Free: 6730809344 PID: 19772 Mem: 200278016
   weight	讀寫	用於設定容器擷取顯卡最大算力的權重，預設值為1。所有運行中的容器的權重之和必須小於等於max_inst。

4. （可選）執行以下命令，配置cGPU服務。

   瞭解procfs節點的用途後，您可以在GPU執行個體中執行命令進行切換調度策略、修改權重等操作，樣本命令如下表所示。

   命令	效果
   echo 2 > /proc/cgpu_km/0/policy	將調度策略切換為權重搶佔調度。
   cat /proc/cgpu_km/0/free_weight	查看顯卡上可用的權重。如果free_weight=0，新建立容器的權重值為0，該容器不能擷取GPU算力，不能用於運行需要GPU算力的應用。
   cat /proc/cgpu_km/0/$dockerid/weight	查看指定容器的權重。
   echo 4 > /proc/cgpu_km/0/$dockerid/weight	修改容器擷取GPU算力的權重。

通過cgpu-smi工具查看cGPU容器

您可以通過cgpu-smi工具查看cGPU容器的相關資訊，包括容器ID、GPU利用率、算力限制、使用的顯存以及分配顯存的總量等資訊。

cgpu-smi的監控展示資訊如下所示：

升級或卸載cGPU服務

cGPU服務使用樣本

docker run -d -t --runtime=nvidia  --name gpu_test0123 --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=3,4,5,6 -e ALIYUN_COM_GPU_MEM_DEV=23 -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 nvcr.io/nvidia/tensorflow:21.03-tf1-py3
docker exec -i gpu_test0123   nvidia-smi