Container Service for Kubernetes:eRDMAを使用したACKクラスターでのコンテナーネットワークの高速化

ステップ1: ACK eRDMAコントローラのインストール

ACK eRDMAコントローラーをインストールするには、次の手順を実行します。

1. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のナビゲーションウィンドウで、[操作] > [アドオン] を選択します。

2. [アドオン] ページで、[ネットワーキング] タブをクリックし、[ACK eRDMAコントローラー] を見つけ、ページの指示に従ってコンポーネントの設定とインストールを行います。

   パラメーター	説明
   preferDriverドライバータイプ	クラスターノードで使用されるeRDMAドライバーのタイプを選択します。 有効な値： default: デフォルトのドライバーモード。 compat: RDMA over Converged Ethernet (RoCE) と互換性のあるドライバーモード。 ofed: GPUモデルに適用可能なofedベースのドライバーモード。 ドライバーの種類の詳細については、「eRDMAの使用」をご参照ください。
   ノードのすべてのeRDMAデバイスをポッドに割り当てるかどうかを指定します	有効な値： True: このチェックボックスをオンにすると、ノード上のすべてのeRDMAデバイスがポッドに割り当てられます。 False: このチェックボックスをオンにしない場合、ポッドには非統一メモリアクセス (NUMA) トポロジに基づいてeRDMAデバイスが割り当てられます。 ノードの静的CPUポリシーを有効にして、NUMAをポッドとデバイスに確実に割り当てる必要があります。 CPUポリシーの設定方法の詳細については、「ノードプールの作成」をご参照ください。

   左側のナビゲーションウィンドウで、[ワークロード] > [ポッド] を選択します。 [ポッド] ページで、ack-erdma-controller名前空間を選択してポッドのステータスを表示し、コンポーネントが期待どおりに実行されるようにします。

ステップ2: eRDMAを使用してコンテナーネットワークを高速化

ACK eRDMA Controllerをインストールした後、次の構成を使用してポッドのeRDMAを有効にできます。

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

/# ls /dev/infiniband/
rdma_cm  uverbs0

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

シナリオ1: GPUモデルはeRDMAを使用してNCCLを高速化

1. 手順1: ACK eRDMAコントローラーのインストールに基づいてACK eRDMAコントローラーをインストールする場合、preferDriverパラメーターをofedに設定して、Nvidia Collective Communication Library (NCCL) を高速化します。

2. GPU高速化ノードをノードプールに追加します。 詳細については、「ノードプールの作成」をご参照ください。

3. アプリケーションコンテナイメージをビルドするときに、eRDMA関連のパッケージをインストールします。

   インストールされているeRDMA関連パッケージの表示

   # Debian or Ubuntu: Make sure that the OS name and version in sources.list are the same as those you use. 
   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" | tee /etc/apt/sources.list.d/erdma.list && apt update && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1
   
   # For Alibaba Cloud Linux or Red Hat Enterprise Linux (RHEL), specify the OS repository address in the yum.repos.d directory. 
   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=*  --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. クラスターでeRDMAを使用するGPUアプリケーションを実行します。 nccl-testを例として使用します。

   eRDMAを使用するGPUアプリケーションのサンプルテンプレートの表示

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true 
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             privileged: true
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. eRDMAがNCCLによって使用されていることを確認します。

   アプリケーションログでは、NCCLが使用する通信タイプとネットワークインターフェイスの数を確認できます。 例：

   

   コマンド出力は、erdma_0およびerdma_1 eRDMAデバイスが高速化されていることを示します。