Elastic High Performance Computing:eRDMA を使用した Elastic High Performance Computing クラスターのデプロイ

テスト手順は次のとおりです。

1. 作成したユーザーとして E-HPC クラスターに接続します。詳細については、「クラスターへの接続」をご参照ください。

2. 次のコマンドを実行して、必要な環境コンポーネントが正しくインストールされているかどうかを確認します。

   module avail

3. 次のコマンドを実行して、プリコンパイル済みの osu-benchmark インストールパッケージをダウンロードして解凍します。

   cd ~ && wget https://ehpc-perf.oss-cn-hangzhou.aliyuncs.com/AMD-Genoa/osu-bin.tar.gz
   tar -zxvf osu-bin.tar.gz

4. 次のコマンドを実行して、テスト作業ディレクトリに移動し、Slurm ジョブスクリプトを編集します。

   cd ~/pt2pt 
   vim slurm.job

   テストスクリプトは次のとおりです。

   #!/bin/bash
   #SBATCH --job-name=osu-bench
   #SBATCH --ntasks-per-node=1
   #SBATCH --nodes=2
   #SBATCH --partition=comp
   #SBATCH --output=%j.out
   #SBATCH --error=%j.out
   
   # Load environment parameters
   module purge
   module load aocc/4.0.0 gcc/12.3.0 libfabric/1.16.0 mpich-aocc/4.0.3
   
   # Run MPI latency test: eRDMA
   echo -e "++++++ use erdma for osu_lat: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="verbs;ofi_rxm" ./osu_latency
   echo -e "------ use erdma for osu_lat: END\n"
   # Run MPI latency test: TCP
   echo -e "++++++ use tcp for osu_lat: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="tcp;ofi_rxm" ./osu_latency
   echo -e "------ use tcp for osu_lat: END\n"
   
   # Run MPI bandwidth test: eRDMA
   echo -e "++++++ use erdma for osu_bw: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="verbs;ofi_rxm" ./osu_bw
   echo -e "------ use erdma for osu_bw: END\n"
   # Run MPI bandwidth test: TCP
   echo -e "++++++ use tcp for osu_bw: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="tcp;ofi_rxm" ./osu_bw
   echo -e "------ use tcp for osu_bw: END\n"

   説明

   • -np 2: プロセスの総数を指定します。値が 2 の場合、MPI ジョブは 2 つのプロセスを開始することを意味します。

   • -ppn 1: ノードあたりのプロセス数を指定します。値が 1 の場合、各ノードで 1 つのプロセスが実行されることを意味します。

   • -genv: すべてのプロセスに適用される環境変数を設定します。

     • FI_PROVIDER="tcp;ofi_rxm": TCP プロトコルを使用し、RXM フレームワークを通じて通信の信頼性を高めます。

     • FI_PROVIDER="verbs;ofi_rxm": パフォーマンス専有型の Verbs プロトコル (RDMA ベース) を優先し、RXM フレームワークを通じてメッセージ送信を最適化します。Alibaba Cloud eRDMA は、パフォーマンス専有型のエラスティック RDMA ネットワークを提供します。

5. 次のコマンドを実行して、テストジョブを送信します。

   sbatch slurm.job

   コマンドラインにジョブ ID が表示されます。

   

6. 次のコマンドを実行して、ジョブのステータスを表示します。テスト中、コンソールでストレージ、ジョブ、ノードのステータスなど、E-HPC のモニタリング情報を表示することもできます。詳細については、「モニタリング情報の表示」をご参照ください。

   squeue

   

   現在のディレクトリで、ジョブ ID に対応するログファイルを表示できます。出力は次のとおりです。

   • ネットワークレイテンシーテストの結果: これらの結果は、メッセージサイズ (バイト単位、1 B から 4 MB) と平均レイテンシーの関係を示しています。以下はテスト結果の例です。

     Verbs プロトコル (eRDMA ベース) の使用

     

     TCP プロトコルの使用

     

     テストデータは、small メッセージ (1 B から 8 KB) の場合、eRDMA のレイテンシーが TCP よりも大幅に低いことを示しています。

   • ネットワーク帯域幅テストの結果: これらの結果は、メッセージサイズ (バイト単位、1 B から 4 MB) と帯域幅の関係を示しています。以下はテスト結果の例です。

     Verbs プロトコル (eRDMA ベース) の使用

     

     TCP プロトコルの使用

     

     テストデータは、メッセージサイズが 16 KB から 64 KB の場合、eRDMA はネットワーク帯域幅を完全に利用するのに対し、TCP プロトコルスタックは追加の処理オーバーヘッドを発生させることを示しています。