Elastic GPU Service:Dockerコマンドラインを実行してcGPUを使用する

cGPUのインストール

エンタープライズユーザーでも個人ユーザーでも、ACKのDockerランタイム環境を使用してcGPUをインストールして使用することを推奨します。

1. クラスターを作成します。

   詳細については、「マネージド Kubernetes クラスターの作成」をご参照ください。

2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のウィンドウで、[アプリケーション] > [クラウドネイティブAIスイート] を選択します。

3. [クラウドネイティブAI Suite] ページで、[デプロイ] をクリックします。

4. [基本機能] セクションで、[スケジューリングポリシー拡張 (バッチタスクスケジューリング、GPU共有、トポロジ対応のGPUスケジューリング)] を選択します。

5. ページの下部にある [クラウドネイティブAIスイートのデプロイ] をクリックします。

   cGPUがインストールされた後、Cloud-native ai Suiteページでack-AI-installerコンポーネントが [デプロイ済み] 状態であることを確認できます。

cGPUの使用

このセクションでは、cGPUを使用して2つのコンテナーが1つのGPUを共有できるようにする方法の例を示します。 この例では、ecs.gn6i-c4g1.xlargeインスタンスが使用されています。

GPU 0: Tesla T4 (UUID: GPU-b084ae33-e244-0959-cd97-83****)
GPU 1: Tesla T4 (UUID: GPU-3eb465ad-407c-4a23-0c5f-bb****)
GPU 2: Tesla T4 (UUID: GPU-2fce61ea-2424-27ec-a2f1-8b****)
GPU 3: Tesla T4 (UUID: GPU-22401369-db12-c6ce-fc48-d7****)

cGPUの実行

1. 次のコマンドを実行してコンテナーを作成し、コンテナーに割り当てられるGPUメモリを指定します。

   この例では、コンテナに割り当てられたGPUメモリを指定するALIYUN_COM_GPU_MEM_CONTAINERと、GPUメモリの合計を指定するALIYUN_COM_GPU_MEM_DEVが設定されています。 次のコンテナが作成されます。

   • gpu_test1: このコンテナには6 GiBのGPUメモリが割り当てられています。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test1 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=6 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   • gpu_test2: このコンテナには8 GiBのgpuメモリが割り当てられています。

     sudo docker run -d -t --gpus all --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --name gpu_test2 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=8 -e ALIYUN_COM_GPU_MEM_DEV=15 nvcr.io/nvidia/tensorflow:19.10-py3

   説明

   上記のコマンドでは、TensorFlowイメージnvcr.io/nvidia/tensorflow:19.10-py3が使用されています。 ビジネス要件に基づいて、イメージをコンテナーイメージに置き換えます。 TensorFlowイメージを使用してTensorFlow深層学習フレームワークを構築する方法の詳細については、「深層学習開発のためのNGC環境のデプロイ」をご参照ください。

2. 次のコマンドを実行して、GPUメモリなどのコンテナーに関するGPU情報を表示します。

   sudo docker exec -i gpu_test1 nvidia-smi

   この例では、gpu_test1コンテナが使用されています。 次の図は、コンテナのGPUメモリがMiB 6,043であることを示しています。

procfsノードを使用したcGPUの表示

cGPUランタイムは、/proc/cgpu_kmディレクトリに複数のprocファイルシステム (procfs) ノードを生成し、ノードを自動的に管理します。 procfsノードを使用して、cGPU情報を表示し、cGPU設定を構成できます。

1. 次のコマンドを実行して、procfsノードに関する情報を表示します。

   ls /proc/cgpu_km/

   コマンドの出力を次の図に示します。

   

   ノード数

   ノード	読み書きタイプ	説明
   0	Read と write	GPUのディレクトリ。 cGPUは、GPUアクセラレーションインスタンス上の各GPUのディレクトリを生成し、ディレクトリ名として0、1、2などの番号を使用します。 この例では、単一のGPUが使用され、GPUのディレクトリ名は0です。
   default_memsize	Read と write	作成されたコンテナーに割り当てられるデフォルトのメモリ。
   inst_ctl	Read と write	制御ノード。
   アップグレード	Read と write	cGPUのホットアップデートを制御します。
   version	読み取り専用	cGPUのバージョン。

2. 次のコマンドを実行して、GPUのディレクトリにあるパラメーターを表示します。

   この例では、0 GPUディレクトリが使用されます。

   ls /proc/cgpu_km/0

   コマンドの出力を次の図に示します。

   

   GPUディレクトリのパラメータ

   パラメーター	読み書きタイプ	説明
   012b2edccd 7aまたは0852a381c 0cf	Read と write	コンテナのディレクトリ。 cGPUは、GPU高速化インスタンスで実行される各コンテナのディレクトリを生成し、コンテナIDをディレクトリ名として使用します。 説明 docker psコマンドを実行して、作成されたコンテナーを表示できます。
   free_weight	読み取り専用	GPUの重み。 このパラメーターを使用して、GPUの使用可能な重みを照会および変更できます。 free_weightが0に設定されている場合、新しく作成されたコンテナの重みは0です。 この場合、コンテナーはGPUの計算能力を得ることができず、GPUの計算能力を必要とするアプリケーションの実行には使用できません。
   major	読み取り専用	cGPUのプライマリデバイス番号。 この値は、異なるデバイスタイプを示します。
   max_inst	Read と write	コンテナーの最大数。 有効な値: 1 ~ 25。
   policy	Read と write	計算能力のスケジューリングポリシー。 cGPUは、次のスケジューリングポリシーをサポートしています。 0: 公平共有スケジューリング。 各コンテナは、固定されたタイムスライスを占有する。 タイムスライスの割合は1/max_instです。 1: プリエンプティブスケジューリング。 各コンテナは、できるだけ多くのタイムスライスを占有する。 タイムスライスの割合は、1 /コンテナーの数です。 2: 重みベースのプリエンプティブスケジューリング。 ALIYUN_COM_GPU_SCHD_WEIGHTが1より大きい値に設定されている場合、重みベースのプリエンプティブスケジューリングが使用されます。 3: 固定スケジューリング。 計算能力は一定の割合でスケジュールされます。 4: ソフトスケジューリング。 プリエンプティブスケジューリングと比較して、ソフトスケジューリングはよりソフトな方法でGPUリソースを分離します。 5: ネイティブスケジューリング。 GPUドライバーの組み込みスケジューリングポリシー。 ポリシーパラメーターの値を変更して、スケジューリングポリシーを調整できます。 スケジューリングポリシーの詳細については、「cGPUの使用例」をご参照ください。
   prio_ratio	Read と write	マルチタイプのワークロードのコロケーションで、優先度の高いコンテナがプリエンプトできる最大計算能力。 有効な値: 20 ~ 99。

3. 次のコマンドを実行して、コンテナーのディレクトリにあるパラメーターを表示します。

   この例では、012b2edccd7aコンテナディレクトリが使用されます。

   ls /proc/cgpu_km/0/012b2edccd7a

   コマンドの出力を次の図に示します。

   

   コンテナーディレクトリのパラメーター

   パラメーター	読み書きタイプ	説明
   highprio	Read と write	コンテナの優先度が高い。 デフォルト値：0 ALIYUN_COM_GPU_HIGH_PRIOが1に設定され、highprioが指定されている場合、コンテナはprio_ratioで指定された最大計算能力を先取りできます。 説明 このパラメーターは、マルチタイプのワークロードのコロケーションで使用されます。
   id	読み取り専用	コンテナID。
   memsize	Read と write	コンテナーのGPUメモリ。 cGPUは、ALIYUN_COM_GPU_MEM_DEVの値に基づいてこのパラメーターの値を生成します。
   meminfo	読み取り専用	コンテナー内の残りのGPUメモリ、GPUを使用しているプロセスのID、プロセスのGPUメモリ使用量など、GPUメモリに関する情報。 サンプル出力： Free: 6730809344 PID: 19772 Mem: 200278016 PID: 19772
   重み	Read と write	コンテナーがGPUの最大計算能力を取得する際に基づく重み。 デフォルト値は 1 です。 実行中のすべてのコンテナの重みの合計は、max_instの値を超えることはできません。

4. (オプション) 次のコマンドを実行してcGPUを設定します。

   procfsノードを理解したら、GPU高速化インスタンスでコマンドを実行して操作を実行できます。 たとえば、スケジューリングポリシーを変更したり、重みを変更したりできます。 コマンドのサンプルを次の表に示します。

   コマンド	効果
   エコー2 > /proc/cgpu_km/0 /ポリシー	スケジューリングポリシーを重みベースのプリエンプティブスケジューリングに変更します。
   cat /proc/cgpu_km/0/free_weight	GPUで使用可能な重みを照会します。 free_weightが0に設定されている場合、新しく作成されたコンテナの重みは0です。 この場合、コンテナーはGPUの計算能力を得ることができず、GPUの計算能力を必要とするアプリケーションの実行には使用できません。
   cat /proc/cgpu_km/0/$dockerid/weight	指定されたコンテナの重量を照会します。
   エコー4 > /proc/cgpu_km/0/$dockerid /重量	コンテナーがGPUの計算能力を取得する際の重みを変更します。

cGPU-smiを使用したcgpuコンテナの表示

cgpu-smiを使用して、cGPUが使用されているコンテナに関する情報を表示できます。 この情報には、コンテナID、GPU使用率、計算能力制限、GPUメモリ使用率、および割り当てられたメモリの合計が含まれます。

次の図は、cgpu-smiによって提供されるサンプルモニタリング情報を示しています。

cGPUの更新またはアンインストール

cGPUの使用例

docker run -d -t --runtime=nvidia  --name gpu_test0123 --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -v /mnt:/mnt -e ALIYUN_COM_GPU_MEM_CONTAINER=3,4,5,6 -e ALIYUN_COM_GPU_MEM_DEV=23 -e NVIDIA_VISIBLE_DEVICES=0,1,2,3 nvcr.io/nvidia/tensorflow:21.03-tf1-py3
docker exec -i gpu_test0123   nvidia-smi