在PyTorch训练任务中访问和存储OSS数据 - 对象存储 OSS

OSS Connector for AI/ML是一个用于在PyTorch训练任务中高效访问和存储OSS数据的Python库。

功能优势

通过OSS Connector for AI/ML使用OSS中的数据进行PyTorch训练的过程如下图所示：

OSS Connector for AI/ML主要功能如下表所示：

功能点	特性	关联类	方法
映射式数据集	适合随机访问，方便在训练过程中快速获取特定数据。	OssMapDataset	OssMapDataset与OssIterableDataset所提供方法相同，如下所示： from_prefix() 使用OSS_URI前缀构建数据集，适用于OSS存储路径具有统一规律的场景。 from_objects() 使用OSS_URI的列表数据集，适用于OSS存储路径位置明确但分散的场景。 from_manifest_file() 使用清单文件构建数据集，适用于数据集文件数量大（如千万级）且有重复加载数据集需求，以及已开通标量检索OSS功能的Bucket。
可迭代式数据集	适合流式顺序访问，能够高效地处理大量连续的数据流。	OssIterableDataset
检查点接口	在模型训练时从OSS中加载检查点，并且在周期性模型训练结束后可以直接将检查点保存至OSS。简化了工作流程。	OssCheckpoint	OssCheckpoint() 初始化OssCheckpoint对象，用于在模型训练过程中读写检查点。 reader() OssCheckpoint对象方法，用于从OSS中读取检查点。 writer() OssCheckpoint对象方法，用于将检查点写入OSS中。

在PyTorch训练任务中访问和存储OSS中的数据之前，您需要安装并配置OSS Connector for AI/ML。具体操作，请参见安装OSS Connector for AI/ML和配置OSS Connector for AI/ML。
安装并配置OSS Connector for AI/ML后，您可以在Pytorch训练任务中：
- 使用OssMapDataset构建适用于随机读取操作的映射式数据集。具体操作，请参见使用OSS中的数据构建适用于随机读取的映射式数据集。
- 使用OssIterableDataset构建适用于流式顺序访问的可迭代式数据集。具体操作，请参见使用OSS中的数据构建适用于流式顺序读取的迭代式数据集。
- 使用OssCheckpoint存储和访问检查点。具体操作，请参见在OSS中存储和访问检查点。
- 说明
  OssMapDataset、OssIterableDataset、OssCheckpoint中的数据具有相同的类型，如需了解支持的属性和方法，请参见OSS Connector for AI/ML中的数据类型。

如果您想快速学习如何在PyTorch中使用OSS数据进行模型训练，并将训练结果保存至OSS，我们为您提供了一个使用OSS Connector for AI/ML完成手写数字识别模型训练的Demo。详情请参见OSS Connector for AI/ML快速入门。
如果您需要进一步提升OSS Connector for AI/ML的性能，建议您使用OSS加速器域名而不是默认的OSS内网域名。关于使用OSS内网域名与OSS加速器域名之间的OSS Connector for AI/ML性能对比，请参见性能测试。
如果您要在容器环境中使用OSS Connector for AI/ML，您可以使用含有OSS Connector for AI/ML的Docker镜像。如何构建镜像，请参见构建含有OSS Connector for AI/ML环境的Docker镜像。