人工智能平台 PAI：ACCL：阿里云自研高性能集合通信库

ACCL支持的增强特性

ACCL目前支持的主要增强特性清单如下，所有的增强特性都支持通过环境变量来开启或关闭：

• 修复了对应NCCL社区开源版本的BUG；

• 对集合通信不同算子和不同消息区间进行了调优，使其相比开源NCCL拥有更好的性能；

• 支持训练过程中集合通信统计分析，可用于诊断训练过程中设备故障导致的计算/通信Slow（慢）和Hang（挂起）等问题，配合阿里云PAI的AIMaster：弹性自动容错引擎和C4D：模型训练任务问题诊断工具，可以快速的进行任务的异常检测和自动容错；

• 支持多路径传输和负载均衡功能，在训练集群中降低甚至消除哈希不均导致的拥塞问题，提升整体训练性能；

使用限制

仅在AI计算资源（灵骏智算资源）部署的地域，使用灵骏智算资源和自定义镜像提交DLC任务时，需要安装ACCL。

安装方法

PAI官方镜像默认已安装ACCL，当您使用官方镜像提交DLC任务时，无需执行以下操作。

步骤一：确认镜像中使用的Pytorch依赖的NCCL库是否为动态库

在自定义镜像容器中执行以下操作步骤：

1. 确认PyTorch库所在位置。

   如果已知PyTorch安装于特定目录，您可以直接在该目录下进行搜索。例如，在确认PyTorch位于/usr/local/lib的情况下，通过执行查询命令，成功定位到libtorch.so文件的具体路径，如下所示：

   find /usr/local/lib -name "libtorch*"
   # 示例结果如下
   /usr/local/lib/python3.10/dist-packages/torch/lib/libtorchcuda.so
   /usr/local/lib/pvthon3.10/dist-packages/torch/lib/libtorch.so
   /usr/local/lib/python3.10/dist-packages/torch/lib/libtorchbindtest.so

2. 使用ldd命令查看PyTorch库依赖NCCL库的方式。

   ldd libtorch.so | grep nccl

   • 如果命令返回结果为如下形式，则说明PyTorch是以动态库的方式依赖NCCL，可以继续根据后续步骤进行ACCL的下载与安装。

     libnccl.so.2=>/usr/lib/x86_64-linux-gnu/libnccl.so.2(0x00007feab3b27000)

   • 如果命令返回结果为空，说明PyTorch是以非动态库的方式依赖NCCL，则无法安装ACCL。您需要基于NVIDIA官方提供的NGC镜像制作您自己的镜像，或者将使用的PyTorch库改为依赖NCCL动态库的版本，之后才能继续下载安装ACCL。

步骤二：确认镜像中使用的CUDA版本

您可以在自定义镜像容器中，使用如下命令确认当前环境依赖的CUDA版本。

nvidia-smi

返回结果示例如下图所示，表明使用的CUDA版本为12.2。您的CUDA版本以实际返回结果为准。

步骤三：下载CUDA版本对应的ACCL

CUDA版本对应的ACCL下载链接如下：

您可以在自定义镜像容器中，使用如下命令下载与CUDA版本相对应的ACCL，以CUDA 12.3版本为例：

wget http://accl-n.oss-cn-beijing.aliyuncs.com/cuda12.3/lib/libnccl.so.2

步骤四：安装ACCL库

在安装ACCL库之前，您需要先确认系统是否已经安装NCCL。您可以使用如下命令确认libnccl.so.2库文件是否已存在：

sudo find / -name "libnccl.so.2"

在查询结果中，可能会出现以下两种情况，并针对每种情况给出相应的处理措施：

• 未发现libnccl.so.2文件，或者该文件存在于/usr/lib64或/lib64系统目录中。针对该情况，您可以直接使用cp命令，将新下载的libnccl.so.2文件复制到上述任一缺失的系统目录中，以确保其可用性。

  sudo cp -f ./libnccl.so.2 /usr/lib64

• 如果搜到libnccl.so.2文件位于其它目录，比如/opt/xxx/，这种情况可能是因为NCCL的安装目录未使用默认路径导致的。您同样可以使用cp命令直接将新下载的libnccl.so.2文件复制到该目录，以覆盖现有文件。

  sudo cp -f libnccl.so.2 /opt/xxx/

步骤五：刷新动态库

在自定义镜像容器中，使用如下命令刷新动态库缓存。

sudo ldconfig

步骤六：确认是否成功加载ACCL库

1. 使用自定义镜像提交DLC任务，详情请参见创建训练任务。

2. 查看任务日志，如果在任务启动日志中显示了如下ACCL版本信息，则表明该任务已成功应用了ACCL库。如何查看任务日志，请参见查看训练详情。

   说明

   日志中务必出现accl-n标识，缺失则表明ACCL库未成功加载。

   NCCL version 2.20.5.7-accl-n+cuda12.4, COMMIT_ID Zeaa6674c2f1f896e3a6bbd77e85231e0700****, BUILD_TIME 2024-05-10 15:40:56

推荐的环境变量配置

基于日常使用ACCL的经验，PAI团队整理了一系列能够在不同环境中提升通信吞吐率的环境变量，供您参考使用：

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_MIN_NCHANNELS=4
export NCCL_NET_PLUGIN=none
export ACCL_C4_STATS_MODE=CONN
export ACCL_IB_SPLIT_DATA_NUM=4
export ACCL_IB_QPS_LOAD_BALANCE=1
export ACCL_IB_GID_INDEX_FIX=1
export ACCL_LOG_TIME=1

关键环境变量说明如下：