ACK クラスタで eRDMA を使用してコンテナネットワークを高速化する

手順 1: ACK eRDMA Controller をインストールする

次の手順を実行して、ACK eRDMA Controller をインストールできます。

1. [クラスタ] ページで、管理するクラスタを見つけ、その名前をクリックします。左側のナビゲーションウィンドウで、[操作] > [アドオン] を選択します。

2. [アドオン] ページで、[ネットワーク] タブをクリックし、ACK eRDMA Controller を見つけ、ページの指示に従ってコンポーネントを構成およびインストールします。

   パラメーター	説明

   パラメーター	説明
   [preferdriver] [ドライバの種類]	クラスタノードで使用される eRDMA ドライバの種類を選択します。有効な値： default: デフォルトのドライバモード。 compat: RDMA over Converged Ethernet (RoCE) と互換性のあるドライバモード。 ofed: ofed ベースのドライバモード。GPU モデルに適用できます。 ドライバの種類の詳細については、「eRDMA を使用する」をご参照ください。
   [ノードのすべての Erdma デバイスをポッドに割り当てるかどうかを指定します]	有効な値： True: このチェックボックスをオンにすると、ノード上のすべての eRDMA デバイスがポッドに割り当てられます。 False: このチェックボックスをオンにしないと、非均一メモリアクセス (NUMA) トポロジに基づいて eRDMA デバイスがポッドに割り当てられます。 NUMA をポッドとデバイスに割り当てることができるように、ノードの静的 CPU ポリシーを有効にする必要があります。 CPU ポリシーの構成方法の詳細については、「ノードプールの作成と管理」をご参照ください。

   左側のナビゲーションウィンドウで、[ワークロード] > [ポッド] を選択します。 [ポッド] ページで、ack-erdma-controller 名前空間を選択して、ポッドのステータスを表示し、コンポーネントが想定どおりに実行されていることを確認します。

手順 2: eRDMA を使用してコンテナネットワークを高速化する

ACK eRDMA Controller をインストールした後、次の構成を使用して、ポッドの eRDMA を有効にできます。

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

/# ls /dev/infiniband/
rdma_cm  uverbs0

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

シナリオ 1: GPU モデルは eRDMA を使用して NCCL を高速化する

1. 手順 1: ACK eRDMA Controller をインストールする に基づいて ACK eRDMA Controller をインストールする際に、preferDriver パラメーターを ofed に設定して、Nvidia Collective Communication Library (NCCL) を高速化します。

2. GPU アクセラレーションノードをノードプールに追加します。詳細については、「ノードプールの作成と管理」をご参照ください。

3. アプリケーションコンテナイメージをビルドする際に、eRDMA 関連のパッケージをインストールします。

   インストールされている eRDMA 関連のパッケージを表示する

   # Debian または Ubuntu: sources.list の OS 名とバージョンが使用しているものと同じであることを確認してください。
   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" | tee /etc/apt/sources.list.d/erdma.list && apt update && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1
   
   # Alibaba Cloud Linux または Red Hat Enterprise Linux (RHEL) の場合、yum.repos.d ディレクトリに OS リポジトリアドレスを指定します。
   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=*  --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. クラスタで eRDMA を使用する GPU アプリケーションを実行します。 nccl-test を例として使用します。

   eRDMA を使用する GPU アプリケーションのサンプルテンプレートを表示する

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true 
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             privileged: true
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. NCCL によって eRDMA が使用されていることを確認します。

   アプリケーションログで、NCCL によって使用される通信の種類とネットワークインターフェースの数を確認できます。例：

   

   コマンド出力は、erdma_0 および erdma_1 eRDMA デバイスが高速化されていることを示しています。