人工智能平台 PAI：RDMA：使用高性能网络进行分布式训练

灵骏规格

NCCL变量

• ml.gu7xf.c96m1600.8-gu108

• ml.gu7xf.8xlarge-gu108

• ml.gu7ef.c96m1600.8-gu100

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

ml.gu8xf.8xlarge-gu108

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

关键环境变量

环境变量说明

NCCL_IB_TC

该变量匹配了阿里云网络映射规则，若未配置或配置错误可能会导致性能受损。

NCCL_IB_GID_INDEX

提供推荐值，若未配置或配置错误会导致NCCL报错。

NCCL_SOCKET_IFNAME

NCCL需要选择正确的端口以建立连接，不同的规格对端口的要求不同。若未配置或配置错误可能会导致NCCL建连失败。

NCCL_DEBUG

通常将日志级别设置为INFO，这样可以获得更多NCCL相关的日志输出，有助于定位和解决潜在问题。

NCCL_IB_HCA

需要指定RDMA通信的网卡。在不同的算力节点下IBdev的数量和命名规则有所区别，若未配置或配置错误可能会导致性能受损。

NCCL_IB_TIMEOUT

增加RDMA连接超时时间，可以提升训练任务时的容错性能，若未配置或配置错误，可能会导致训练任务出现中断。

NCCL_IB_QPS_PER_CONNECTION

适当增加NCCL中每个连接的QP（Queue Pair）数量，可以有效提高网络吞吐率。