ACK叢集Pro版支援共用GPU,共用GPU能夠在Kubernetes上實現共用GPU調度和顯存隔離。本文介紹如何設定共用GPU調度的多卡共用策略。
前提條件
多卡共用資訊介紹
目前多卡共用僅支援顯存隔離且算力共用的情境,不支援顯存隔離且算力分配的情境。
模型開發階段,有可能需要使用多張GPU卡,但無需使用大量GPU資源。如果將多張GPU卡全部分配給開發平台,有可能造成資源浪費。此時,共用GPU調度的多卡共用將發揮作用。
多卡共用策略指的是某個應用申請了N個GiB的顯存,並指定了這N個GiB的顯存由M塊GPU卡分配,每塊GPU卡分配的顯存為N/M(目前N/M必須為整數,並且這M張GPU卡必須在同一個Kubernetes節點上)。例如,某個應用申請了8 GiB顯存,並指定了GPU卡個數為2,那麼某個節點需分配2塊GPU卡給該應用,每塊GPU卡分配4 GiB顯存。單卡共用和多卡共用的區別:
單卡共用:一個Pod僅申請一張GPU卡,佔用該GPU部分資源。
多卡共用:一個Pod申請多張GPU卡,每張GPU提供部分資源,且每張GPU提供的資源量相同。
設定多卡共用策略
登入Container Service管理主控台,在左側導覽列選擇叢集。
在叢集列表頁面,單擊目的地組群名稱,然後在左側導覽列,選擇 。
在頁面右上方,單擊使用YAML建立資源。將以下內容拷貝至模板地區,然後單擊建立。
YAML檔案說明如下:
該YAML定義一個使用tensorflow mnist範例的Job,任務申請8 GiB顯存,並申請2張GPU卡,每張GPU卡將提供4 GiB顯存。
申請2張GPU卡通過在Pod Label定義標籤
aliyun.com/gpu-count=2
實現。申請8 GiB顯存通過在Pod resources.limits定義
aliyun.com/gpu-mem: 8
實現。
驗證多卡共用策略
在叢集列表頁面,單擊目的地組群名稱,然後在左側導覽列,選擇 。
在建立的容器所在行,例如tensorflow-mnist-multigpu-***,單擊操作列的終端,進入容器,執行如下命令。
nvidia-smi
預期輸出:
Wed Jun 14 03:24:14 2023 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 470.161.03 Driver Version: 470.161.03 CUDA Version: 11.4 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================| | 0 Tesla V100-SXM2... On | 00000000:00:09.0 Off | 0 | | N/A 38C P0 61W / 300W | 569MiB / 4309MiB | 2% Default | | | | N/A | +-------------------------------+----------------------+----------------------+ | 1 Tesla V100-SXM2... On | 00000000:00:0A.0 Off | 0 | | N/A 36C P0 61W / 300W | 381MiB / 4309MiB | 0% Default | | | | N/A | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=============================================================================| +-----------------------------------------------------------------------------+
預期輸出表明,容器內部僅能夠使用2張GPU卡,每張卡的總顯存均為4309 MiB(也就是申請的4 GiB顯存,而每張卡真實顯存為16160 MiB)。
在建立的容器所在行,例如tensorflow-mnist-multigpu-***,單擊操作列的日誌,查看容器日誌,可以看到如下關鍵資訊。
totalMemory: 4.21GiB freeMemory: 3.91GiB totalMemory: 4.21GiB freeMemory: 3.91GiB
關鍵資訊表明,應用查詢到的裝置資訊中,每張卡的總顯存為4 GiB左右,而不是每張卡真實顯存16160 MiB,也就是應用使用的顯存已被隔離。