Platform For AI：RDMA：使用高效能網路進行分布式訓練

靈駿規格

NCCL變數

• ml.gu7xf.c96m1600.8-gu108

• ml.gu7xf.8xlarge-gu108

• ml.gu7ef.c96m1600.8-gu100

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

ml.gu8xf.8xlarge-gu108

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

關鍵環境變數

環境變數說明

NCCL_IB_TC

該變數匹配了阿里雲網路映射規則，若未配置或配置錯誤可能會導致效能受損。

NCCL_IB_GID_INDEX

提供推薦值，若未配置或配置錯誤會導致NCCL報錯。

NCCL_SOCKET_IFNAME

NCCL需要選擇正確的連接埠以建立串連，不同的規格對連接埠的要求不同。若未配置或配置錯誤可能會導致NCCL建連失敗。

NCCL_DEBUG

通常將記錄層級設定為INFO，這樣可以獲得更多NCCL相關的日誌輸出，有助於定位和解決潛在問題。

NCCL_IB_HCA

需要指定RDMA通訊的網卡。在不同的算力節點下IBdev的數量和命名規則有所區別，若未配置或配置錯誤可能會導致效能受損。

NCCL_IB_TIMEOUT

增加RDMA連線逾時時間，可以提升訓練任務時的容錯效能，若未配置或配置錯誤，可能會導致訓練任務出現中斷。

NCCL_IB_QPS_PER_CONNECTION

適當增加NCCL中每個串連的QP（Queue Pair）數量，可以有效提高網路吞吐率。