Object Storage Service:OSS Connector for AI/MLを使用したPyTorchトレーニングジョブのOSSデータへのアクセスと保存

項目

AI/MLにOSSコネクタを使用しない

AI/MLでのOSSコネクタの使用

パフォーマンス

パフォーマンスを手動で最適化する必要がありますが、非効率的な場合があります。

OSS Connector for AI/MLは、OSSデータダウンロードとチェックポイントストレージのパフォーマンスを自動的に最適化します。

データの読み込み方法

事前にデータをダウンロードする必要があるため、コストと管理ワークロードが増加します。

OSS Connector for AI/MLはストリームロードをサポートし、コストと管理の複雑さを軽減します。

データアクセス

アダプタを使用してデータを読み書きする必要があるため、アクセスが複雑になります。

OSS Connector for AI/MLは、アクセスを簡素化するためにOSSのデータを直接読み書きします。

設定の難しさ

コードをコンパイルする必要があるため、設定が困難です。

OSS Connector for AI/MLは、開発効率を向上させるためのシンプルな設定項目を提供します。

項目

機能

クラス

移動方法

マップスタイルのデータセット

トレーニング中に特定のデータにすばやくアクセスできるように、ランダムアクセスに適しています。

OssMapDataset

OssMapDatasetクラスとOssIterableDatasetクラスは、データセットを構築するための同じメソッドを提供します。

• from_prefix()

  OSS_URIプレフィックスを使用してデータセットを作成します。 この方法は、OSSデータのストレージパスに統一ルールがあるシナリオに適しています。

• from_objects()

  OSSのOSS_URIリストを使用してデータセットを作成します。 この方法は、OSSデータのストレージパスがクリアで分散しているシナリオに適しています。

• from_manifest_file()

  マニフェストファイルを作成し、マニフェストファイルを使用してデータセットを作成します。 この方法は、作成するデータセットに数千万などの多数のファイルが含まれ、データセットが頻繁に読み込まれ、バケットに対してデータインデックス作成が有効になっているシナリオに適しています。

Iterableスタイルのデータセット

連続ストリーミング読み取りに適しており、多数の連続データストリームを効率的に処理できます。

OssIterableDataset

チェックポイントAPI操作

モデルトレーニング中にOSSからチェックポイントをロードし、定期的なモデルトレーニング後にチェックポイントをOSSに保存します。 これにより、ワークフローが簡素化されます。

OssCheckpoint

• OssCheckpoint()

  モデルトレーニング中にチェックポイントの読み取りと書き込みに使用するOssCheckpointオブジェクトを初期化します。

• reader()

  OSSからチェックポイントを読み取ります。

• writer()

  OSSにチェックポイントを書き込みます。