PyTorchトレーニングジョブ用にObject Storage Service (OSS) のデータセットに効率的にアクセスして保存したい場合は、OSS Connector for AI/MLをインストールできます。
デプロイ環境
オペレーティングシステム: 64ビットx86 Linux
glibc: 2.17以降
Python: 3.12する3.8
PyTorch: 2.0以降
OSSチェックポイント機能を使用するには、Linuxカーネルがuserfaultfdをサポートしている必要があります。
説明この例では、Ubuntuが使用されています。
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)コマンドを実行して、Linuxカーネルがuserfaultfdをサポートしているかどうかを確認できます。CONFIG_USERFAULTFD=yが返された場合、Linuxカーネルはuserfaultfdをサポートします。CONFIG_USERFAULTFD=nが返された場合、Linuxカーネルはuserfaultfdをサポートしません。 この場合、OSSチェックポイント機能は使用できません。
手順
次の例では、OSS Connector for AI/ML for Python 3.12をインストールする方法を説明します。
pip3.12 install osstorchconnectorコマンドを実行して、LinuxまたはLinuxベースのイメージを使用して生成されたコンテナーにOSS Connector for AI/MLをインストールします。pip3.12 install osstorchconnectorpip3.12 show osstorchconnectorコマンドを実行し、OSS Connector for AI/MLがインストールされているかどうかを確認します。pip3.12 show osstorchconnectorosstorchconnectorのバージョン情報が返されると、OSS Connector for AI/MLがインストールされます。
次に何をすべきか
OSS Connector for AI/MLがOSSと通信し、設定項目を正しく初期化できるようにするには、アクセス資格情報を設定し、OSSコネクタの設定を完了する必要があります。 詳細については、「Configure OSS Connector for AI/ML」をご参照ください。