當您需要在PyTorch訓練任務中高效地訪問和儲存OSS中的資料集時,您可以安裝OSS Connector for AI/ML。
部署環境
作業系統:Linux x86-64
glibc:>=2.17
Python:3.8-3.12
PyTorch: >=2.0
使用OSS Checkpoint功能需Linux核心支援userfaultfd
說明以Ubuntu系統為例,您可以執行
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)
命令確認Linux是否支援userfaultfd,當返回結果中顯示CONFIG_USERFAULTFD=y
時,則表示核心支援。返回結果顯示CONFIG_USERFAULTFD=n
時,則表示核心不支援,即無法使用OSS Checkpoint功能。
安裝步驟
以下內容為Python3.12版本安裝OSS Connector for AI/ML樣本:
在Linux作業系統或基於Linux作業系統構建鏡像所產生容器空間內,執行
pip3.12 install osstorchconnector
命令安裝OSS Connector for AI/ML。pip3.12 install osstorchconnector
執行
pip3.12 show osstorchconnector
查看是否安裝成功。pip3.12 show osstorchconnector
當返回結果中顯示osstorchconnector的版本資訊時表示OSS Connector for AI/ML安裝成功。
後續步驟
為了確保OSS Connector for AI/ML能夠正常地與OSS進行通訊,並正確初始化其相關配置,您需要完成訪問憑證配置和OSS Connector的相應設定。具體操作,請參見配置OSS Connector for AI/ML。