当您需要在PyTorch训练任务中高效地访问和存储OSS中的数据集时,您可以安装OSS Connector for AI/ML。
部署环境
操作系统:Linux x86-64
glibc:>=2.17
Python:3.8-3.12
PyTorch: >=2.0
使用OSS Checkpoint功能需Linux内核支持userfaultfd
说明以Ubuntu系统为例,您可以执行
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)
命令确认Linux是否支持userfaultfd,当返回结果中显示CONFIG_USERFAULTFD=y
时,则表示内核支持。返回结果显示CONFIG_USERFAULTFD=n
时,则表示内核不支持,即无法使用OSS Checkpoint功能。
安装步骤
以下内容为Python3.12版本安装OSS Connector for AI/ML示例:
在Linux操作系统或基于Linux操作系统构建镜像所生成容器空间内,执行
pip3.12 install osstorchconnector
命令安装OSS Connector for AI/ML。pip3.12 install osstorchconnector
执行
pip3.12 show osstorchconnector
查看是否安装成功。pip3.12 show osstorchconnector
当返回结果中显示osstorchconnector的版本信息时表示OSS Connector for AI/ML安装成功。
后续步骤
为了确保OSS Connector for AI/ML能够正常地与OSS进行通信,并正确初始化其相关配置,您需要完成访问凭证配置和OSS Connector的相应设置。具体操作,请参见配置OSS Connector for AI/ML。