全部產品
Search
文件中心

Object Storage Service:安裝OSS Connector

更新時間:Sep 27, 2024

當您需要在PyTorch訓練任務中高效地訪問和儲存OSS中的資料集時,您可以安裝OSS Connector for AI/ML。

部署環境

  • 作業系統:Linux x86-64

  • glibc:>=2.17

  • Python:3.8-3.12

  • PyTorch: >=2.0

  • 使用OSS Checkpoint功能需Linux核心支援userfaultfd

    說明

    以Ubuntu系統為例,您可以執行sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)命令確認Linux是否支援userfaultfd,當返回結果中顯示CONFIG_USERFAULTFD=y時,則表示核心支援。返回結果顯示CONFIG_USERFAULTFD=n時,則表示核心不支援,即無法使用OSS Checkpoint功能。

安裝步驟

以下內容為Python3.12版本安裝OSS Connector for AI/ML樣本:

  1. 在Linux作業系統或基於Linux作業系統構建鏡像所產生容器空間內,執行pip3.12 install osstorchconnector命令安裝OSS Connector for AI/ML。

    pip3.12 install osstorchconnector
  2. 執行pip3.12 show osstorchconnector查看是否安裝成功。

    pip3.12 show osstorchconnector

    當返回結果中顯示osstorchconnector的版本資訊時表示OSS Connector for AI/ML安裝成功。

    image

後續步驟

為了確保OSS Connector for AI/ML能夠正常地與OSS進行通訊,並正確初始化其相關配置,您需要完成訪問憑證配置和OSS Connector的相應設定。具體操作,請參見配置OSS Connector for AI/ML