Platform For AI:RDMA: 分散トレーニング用の高性能ネットワーク

Lingjun仕様

NCCL環境変数

• ml.gu7xf.c96m1600.8-gu108

• ml.gu7xf.8xlarge-gu108

• ml.gu7ef.c96m1600.8-gu100

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

ml.gu8xf.8xlarge-gu108

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

キーNCCL環境変数

説明

NCCL_IB_TC

Alibaba Cloudが使用するネットワークマッピングルール。 この変数を設定しない場合、または無効な値を指定した場合、ネットワークパフォーマンスが影響を受ける可能性があります。

NCCL_IB_GID_INDEX

RDMAによって使用されるグローバルIDインデックス。 この変数を設定しない場合、または無効な値を指定すると、NCCLにエラーが発生します。

NCCL_SOCKET_IFNAME

NCCLが接続を確立するために使用するIPインターフェイス。 この変数の推奨値は、Lingjun仕様によって異なります。 この変数を設定しない場合、または無効な値を指定した場合、NCCLは接続の確立に失敗する可能性があります。

NCCL_デバッグ

NCCLからのデバッグ情報。 トラブルシューティングを高速化するため、この変数をINFOに設定することを推奨します。

NCCL_IB_HCA

RDMA通信に使用されるInfiniBandデバイス。 InfiniBandデバイスの数と命名規則は、コンピューティングノードによって異なります。 この変数を指定しないか、無効な値を指定すると、ネットワークパフォーマンスに影響を与える可能性があります。

NCCL_IB_タイムアウト

RDMA接続でタイムアウトエラーがトリガーされるまでの期間。 タイムアウトが長くなると、トレーニングジョブのフォールトトレランスが高くなります。 この変数を指定しない、または無効な値を指定すると、トレーニングジョブが中断される可能性があります。

NCCL_IB_QPS_PER_接続

各接続に使用されるInfiniBandキューペアの数。 キューペアの数が多いほど、ネットワークスループットが高くなります。