Platform For AI：OSS使用

在DLC中掛載OSS

在建立分布式訓練（DLC）任務時，掛載OSS資料。支援以下幾種掛載類型，具體配置方法，請參見建立訓練任務。

使用該方式掛載OSS，預設配置有如下限制，並不適合所有的情境：

• 為了快速讀取OSS檔案，掛載OSS時會有中繼資料（目錄與檔案清單）的緩衝。

  在分布式任務中，如果有多個節點需要建立同一個目錄並檢查目錄是否存在，中繼資料的Cache會導致每個節點都嘗試進行建立。實際只有一個節點能成功建立目錄，其它節點會報錯。

• 預設使用OSS的MultiPart API來建立檔案，在寫檔案的過程中，在OSS上看不到該對象。當所有寫操作完成後，才能在OSS頁面上查看。

• 不支援同時進行檔案的寫入和讀取操作。

• 不支援對檔案進行隨機寫入操作。

您可以參照以下操作步驟，通過調整底層參數來適配具體的情境。

1. 完成以下準備工作。

   1. 安裝工作空間的SDK。

      !pip install alibabacloud-aiworkspace20210204

   2. 配置環境變數。具體操作，請參見安裝Credentials工具和在Linux、macOS和Windows系統配置環境變數。

2. 調整底層參數，適配以下情境。

   如何選擇不同的JindoFuse版本

   範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_version():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 配置jindo-fuse的版本，可以配置為6.4.4， 6.7.0，6.6.0，release note詳見：https://aliyun.github.io/alibabacloud-jindodata/releases/
       options['fs.jindo.fuse.pod.image.tag'] = "6.7.0"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   change_version()

   如何關掉中繼資料Cache

   當執行分布式任務且多個節點同時嘗試向同一目錄寫檔案時，Cache可能會引起部分節點的寫入操作失敗。您可以通過修改fuse的命令列參數，增加-oattr_timeout=0-oentry_timeout=0-onegative_timeout=0來解決該問題。範例程式碼如下。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def turnOffMetaCache():
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
       workspace_client = AIWorkspaceClient(
         config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
         )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   turnOffMetaCache()
   

   如何調整上傳（下載）資料的線程數目

   通過配置以下參數來調整線程資料：

   • fs.oss.upload.thread.concurrency:32

   • fs.oss.download.thread.concurrency:32

   • fs.oss.read.readahead.buffer.count:64

   • fs.oss.read.readahead.buffer.size:4194304

   範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustThreadNum():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.read.readahead.buffer.count'] = 32
    
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
    
    
   adjustThreadNum()
   

   如何使用AppendObject方式掛載OSS檔案

   所有在本地OSS建立的檔案，都會調用OSS的AppendObject介面來建立Object（檔案）。通過AppendObject方式最後產生的Object大小不得超過5 GB，關於AppendObject的更多使用限制，請參見AppendObject。範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def useAppendObject():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
       options['fs.oss.append.enable'] = "true"
       options['fs.oss.flush.interval.millisecond'] = "1000"
       options['fs.oss.read.buffer.size'] = "262144"
       options['fs.oss.write.buffer.size'] = "262144"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   useAppendObject()

   如何掛載OSS-HDFS

   如何開通OSS-HDFS，請參見什麼是OSS-HDFS服務。使用OSS-HDFS的Endpoint來建立資料集的範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import CreateDatasetRequest
   
   
   def createOssHdfsDataset():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       workspace_id = '** DLC任務所在工作空間ID **'
   
       oss_bucket = '** OSS-Bucket **'
       # 使用OSS-HDFS的Endpoint。
       oss_endpoint = f'{region_id}.oss-dls.aliyuncs.com'
       # 需要掛載的OSS-HDFS路徑。
       oss_path = '/'
       # 本地掛載路徑。
       mount_path = '/mnt/data/'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
   
       response = workspace_client.create_dataset(CreateDatasetRequest(
           workspace_id=workspace_id,
           name="** 資料集的名字 **",
           data_type='COMMON',
           data_source_type='OSS',
           property='DIRECTORY',
           uri=f'oss://{oss_bucket}.{oss_endpoint}{oss_path}',
           accessibility='PRIVATE',
           source_type='USER',
           options=json.dumps({
               'mountPath': mount_path,
               # 在分布式訓練的情境下建議增加以下參數。
               'fs.jindo.args': '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -ono_symlink -ono_xattr -ono_flock -odirect_io',
               'fs.oss.flush.interval.millisecond': "10000",
               'fs.oss.randomwrite.sync.interval.millisecond': "10000",
           })
       ))
       print(f'datasetId: {response.body.dataset_id}')
   
   createOssHdfsDataset()
   
   

   如何配置記憶體資源

   通過配置fs.jindo.fuse.pod.mem.limit參數來調整記憶體資源，範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustResource():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 需要配置的記憶體資源。
       options['fs.jindo.fuse.pod.mem.limit'] = "10Gi"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   adjustResource()
   

在DSW中掛載OSS

在建立DSW執行個體時，掛載OSS資料。支援以下幾種掛載類型，具體配置方法，請參見建立DSW執行個體。

本文提供部分情境的Jindo配置建議，並未覆蓋所有情境下的最優效能。更靈活的配置，請參見JindoFuse使用指南。

• 快速讀寫：允許使用者讀寫，讀取速度快，但並發讀寫可能會出現資料不一致的問題，適合掛載訓練資料和模型，不適合作為工作目錄。

  {
    "fs.oss.download.thread.concurrency": "cpu核心數2倍",
    "fs.oss.upload.thread.concurrency": "cpu核心數2倍",
    "fs.jindo.args": "-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
  }
  

• 增量讀寫：在增量寫入時能夠保證資料一致性，覆蓋原有資料會有一致性問題。讀取速度略慢，適合儲存訓練的模型權重檔案。

  {
    "fs.oss.upload.thread.concurrency": "cpu核心數2倍",
    "fs.jindo.args": "-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
  }
  

• 讀寫一致：在並發讀寫中能保持資料一致性，適用於對資料一致性要求高，可以容忍讀取速度慢的情境，適合儲存代碼專案。

  {
    "fs.jindo.args": "-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
  }
  

• 唯讀：僅允許讀取，不允許寫入，適合掛載公用資料集。

  {
    "fs.oss.download.thread.concurrency": "cpu核心數2倍",
    "fs.jindo.args": "-oro -oattr_timeout=7200 -oentry_timeout=7200 -onegative_timeout=7200 -okernel_cache -ono_symlink"
  }

使用限制

• 官方鏡像：僅在分布式訓練（DLC）任務或DSW執行個體中選擇Pytorch 2.0及其以上版本的鏡像時，才能使用OSS Pytorch Connector模組。

• 自訂鏡像：僅支援Pytorch 2.0及其以上版本，對於滿足版本要求的鏡像，您可以通過下述指令安裝OSS Pytorch Connector模組。

  pip install -i http://yum.tbsite.net/aliyun-pypi/simple/ --extra-index-url http://yum.tbsite.net/pypi/simple/ --trusted-host=yum.tbsite.net osstorchconnector

• Python版本：僅支援Python 3.8~3.12版本。

準備工作

1. 配置credential檔案。

   您可以使用以下任意一種方式配置credential：

   • 您可以參考配置DLC RAM角色，為分布式訓練（DLC）任務配置免密訪問OSS的credential。通過這種方式，DLC任務將擷取STS臨時訪問憑證，能夠安全地訪問OSS或其他雲資源，無需顯式配置認證資訊，從而降低密鑰泄露的風險。

   • 在代碼專案中配置credential檔案，管理認證資訊。配置樣本如下：

     說明

     明文配置AK資訊存在安全風險，建議您使用角色配置在DLC執行個體內自動設定credential，詳情請參見配置DLC RAM角色。

     在使用OSS Pytorch Connector介面時，您可以通過指定credential檔案的路徑，自動擷取認證資訊，以便進行OSS資料請求的認證。

     {
       "AccessKeyId": "<Access-key-id>",
       "AccessKeySecret": "<Access-key-secret>",
       "SecurityToken": "<Security-Token>",
       "Expiration": "2024-08-20T00:00:00Z"
     }

     具體配置項說明如下：

     配置項	是否必填	說明	樣本值
     AccessKeyId	是	阿里雲帳號或者RAM使用者的AccessKey ID和AccessKey Secret。 說明 當使用從STS擷取的臨時訪問憑證訪問OSS時，請設定為臨時訪問憑證的AccessKey ID和AccessKey Secret。	NTS****
     AccessKeySecret	是		7NR2****
     SecurityToken	否	臨時存取權杖。當使用從STS擷取的臨時訪問憑證訪問OSS時，需要設定此參數。	STS.6MC2****
     Expiration	否	鑒權資訊到期時間，Expiration為空白表示永不到期，鑒權時間到期後OSS Connector會重新讀取鑒權資訊。	2024-08-20T00:00:00Z

2. 配置config.json檔案，內容樣本如下：

   在代碼專案中配置config.json檔案，管理諸如並發處理數量、預取參數以及其他核心參數，同時定義記錄檔的儲存位置等重要訊息。使用OSS Pytorch Connector介面時，通過指定config.json檔案的路徑，系統可以自動擷取到讀取時並發處理量、預取值，並將請求OSS資料的相關日誌輸出到指定的記錄檔中。

   {
       "logLevel": 1,
       "logPath": "/var/log/oss-connector/connector.log",
       "auditPath": "/var/log/oss-connector/audit.log",
       "datasetConfig": {
           "prefetchConcurrency": 24,
           "prefetchWorker": 2
       },
       "checkpointConfig": {
           "prefetchConcurrency": 24,
           "prefetchWorker": 4,
           "uploadConcurrency": 64
       }
   }

   具體配置項說明如下：

   配置項		是否必填	說明	樣本值
   logLevel		是	日誌記錄層級。預設為INFO層級。取值如下： 0：表示Debug。 1：表示INFO。 2：表示WARN。 3：表示ERROR。	1
   logPath		是	connector日誌路徑。預設路徑為/var/log/oss-connector/connector.log。	/var/log/oss-connector/connector.log
   auditPath		是	connector IO的審計日誌，記錄延遲大於100毫秒的讀寫請求。預設路徑為/var/log/oss-connector/audit.log。	/var/log/oss-connector/audit.log
   DatasetConfig	prefetchConcurrency	是	使用Dataset從OSS預取資料時的並發數，預設為24。	24
   	prefetchWorker	是	使用Dataset從OSS預取可使用vCPU數，預設為4。	2
   checkpointConfig	prefetchConcurrency	是	使用checkpoint read從OSS預取資料時的並發數，預設為24。	24
   	prefetchWorker	是	使用checkpoint read從OSS預取可使用vCPU數，預設為4。	4
   	uploadConcurrency	是	使用checkpoint write上傳資料時的並發數，預設為64。	64

使用方式

OSS Pytorch Connector提供了OssMapDataset和OssIterableDataset兩種資料集提供者，分別是對Dataset和IterableDataset介面的擴充。OssIterableDataset進行了預取最佳化，因此訓練效率相對較高。OssMapDataset的資料讀取順序由DataLoader決定，支援shuffle操作。因此，您可以參考以下建議選擇資料集提供者：

• 如果記憶體較小或資料量較大，只需要順序讀取且對平行處理的要求不高，建議您使用OssIterableDataset來構建Dataset。

• 相反，如果記憶體充足、資料量較小，並且需要隨機操作和平行處理，建議您使用OssMapDataset來構建Dataset。

同時，OSS Pytorch Connector也提供了OssCheckpoint介面以支援模型載入和儲存。當前，OssCheckpoint功能僅限於在通用資源環境下使用。

以下內容為您介紹這三種介面的使用方式：

checkpoint = OssCheckpoint(endpoint="{oss_endpoint}", cred_path=cred_path, config_path=config_path)

checkpoint_read_uri = "{checkpoint_path}"
checkpoint_write_uri = "{checkpoint_path}"
with checkpoint.reader(checkpoint_read_uri) as reader:
    state_dict = torch.load(reader)
    model.load_state_dict(state_dict)
with checkpoint.writer(checkpoint_write_uri) as writer:
    torch.save(model.state_dict(), writer)

程式碼範例

以下是OSS Pytorch Connector的範例程式碼，您可以使用該範例程式碼訪問OSS資料：

from osstorchconnector import OssMapDataset, OssCheckpoint
import torchvision.transforms as transforms
import accimage
import torchvision.models as models
import torch

cred_path = "/mnt/.alibabacloud/credentials"  # 為DLC任務和DSW執行個體配置角色資訊之後credential的預設路徑。
config_path = "config.json"
checkpoint = OssCheckpoint(endpoint="{oss_endpoint}", cred_path=cred_path, config_path=config_path)
model = models.__dict__["resnet18"]()

epochs = 100  # 指定epoch
checkpoint_read_uri = "{checkpoint_path}"
checkpoint_write_uri = "{checkpoint_path}"
with checkpoint.reader(checkpoint_read_uri) as reader:
    state_dict = torch.load(reader)
    model.load_state_dict(state_dict)


def read_and_transform(data):
    normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                     std=[0.229, 0.224, 0.225])
    transform = transforms.Compose([
        transforms.RandomResizedCrop(224),
        transforms.RandomHorizontalFlip(),
        transforms.ToTensor(),
        normalize,
    ])

    try:
        img = accimage.Image((data.read()))
        value = transform(img)
    except Exception as e:
        print("read failed", e)
        return None, 0
    return value, 0
dataset = OssMapDataset.from_prefix("{oss_data_folder_uri}", endpoint="{oss_endpoint}", transform=read_and_transform, cred_path=cred_path, config_path=config_path)
data_loader = torch.utils.data.DataLoader(
    dataset, batch_size="{batch_size}",num_workers="{num_workers"}, pin_memory=True)

for epoch in range(args.epochs):
    for step, (images, target) in enumerate(data_loader):
        # batch processing
        # model training
    # save model
    with checkpoint.writer(checkpoint_write_uri) as writer:
        torch.save(model.state_dict(), writer)

上述代碼的關鍵實現說明如下：

• 使用OssMapDataset直接基於給定的OSS URI，構建一個與Pytorch Dataloader使用範式一致的dataset。

• 使用該dataset，構建Torch的標準Dataloader，並通過loop dataloader進行標準的訓練流程，如對當前batch的處理、模型訓練與儲存等。

• 同時，這一過程無需將資料集掛載到容器環境中，也無需事先將資料存放區至本地，實現了資料的按需載入。

OSS Python SDK

您可以直接使用OSS Python SDK讀寫OSS中的資料，具體操作步驟如下：

1. 安裝OSS Python SDK。詳情請參見安裝。

2. 為OSS Python SDK配置訪問憑證，詳情請參見配置訪問憑證。

3. 讀寫OSS資料。

   # -*- coding: utf-8 -*-
   import oss2
   from oss2.credentials import EnvironmentVariableCredentialsProvider
   
   # 使用環境變數中擷取的RAM使用者存取金鑰配置訪問憑證
   auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
   bucket = oss2.Bucket(auth, '<Endpoint>', '<your_bucket_name>')
   # 讀取一個完整檔案。
   result = bucket.get_object('<your_file_path/your_file>')
   print(result.read())
   # 按Range讀取資料。
   result = bucket.get_object('<your_file_path/your_file>', byte_range=(0, 99))
   # 寫資料至OSS。
   bucket.put_object('<your_file_path/your_file>', '<your_object_content>')
   # 對Appendable類型檔案進行Append。
   result = bucket.append_object('<your_file_path/your_file>', 0, '<your_object_content>')
   result = bucket.append_object('<your_file_path/your_file>', result.next_position, '<your_object_content>')
   

   您需要根據實際需要修改以下配置項：

   配置項	描述
   <Endpoint>	填寫Bucket所在地區對應的Endpoint。以華東1（杭州）為例，Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。關於擷取Endpoint的更多資訊，請參見OSS地區和訪問網域名稱。
   <your_bucket_name>	填寫儲存空間名稱。
   <your_file_path/your_file>	表示待讀寫的檔案路徑。填寫不包含Bucket名稱在內的Object完整路徑，例如testfolder/exampleobject.txt。
   <your_object_content>	表示待Append的內容，需要根據實際情況修改。

OSS Python API

使用OSS Python API，您可以方便地在OSS中儲存訓練資料和模型。在開始操作之前，請確保已安裝OSS Python SDK，並正確設定訪問憑據，詳情請參見安裝和配置訪問憑證。

• 載入訓練資料

  您可以將資料存放在一個OSS Bucket中，且將資料路徑和對應的Label儲存在同一個OSS Bucket的索引檔案中。通過自訂DataSet，在PyTorch中使用DataLoaderAPI多進程並行讀取資料，樣本如下。

  import io
  import oss2
  from oss2.credentials import EnvironmentVariableCredentialsProvider
  import PIL
  import torch
  
  class OSSDataset(torch.utils.data.dataset.Dataset):
      def __init__(self, endpoint, bucket, auth, index_file):
          self._bucket = oss2.Bucket(auth, endpoint, bucket)
          self._indices = self._bucket.get_object(index_file).read().split(',')
  
      def __len__(self):
          return len(self._indices)
  
      def __getitem__(self, index):
          img_path, label = self._indices(index).strip().split(':')
          img_str = self._bucket.get_object(img_path)
          img_buf = io.BytesIO()
          img_buf.write(img_str.read())
          img_buf.seek(0)
          img = Image.open(img_buf).convert('RGB')
          img_buf.close()
          return img, label
  
  
  # 從環境變數中擷取訪問憑證。運行本程式碼範例之前，請確保已設定環境變數OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
  auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
  dataset = OSSDataset(endpoint, bucket, auth, index_file)
  data_loader = torch.utils.data.DataLoader(
      dataset,
      batch_size=batch_size,
      num_workers=num_loaders,
      pin_memory=True)
  

  其中關鍵配置說明如下：

  關鍵配置	描述
  endpoint	填寫Bucket所在地區對應的Endpoint。以華東1（杭州）為例，Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。關於擷取Endpoint的更多資訊，請參見OSS地區和訪問網域名稱。
  bucket	填寫儲存空間名稱。
  index_file	索引檔案的路徑。 說明 樣本中，索引檔案格式為每條樣本使用英文逗號（,）分隔，樣本路徑與Label之間使用英文冒號（:）分隔。

• Save或Load模型

  您可以使用OSS Python API Save或Load PyTorch模型（關於PyTorch如何Save或Load模型，詳情請參見PyTorch），樣本如下：

  • Save模型

    from io import BytesIO
    import torch
    import oss2
    from oss2.credentials import EnvironmentVariableCredentialsProvider
    
    auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
    # bucket_name
    bucket_name = "<your_bucket_name>"
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    buffer = BytesIO()
    torch.save(model.state_dict(), buffer)
    bucket.put_object("<your_model_path>", buffer.getvalue())
    

    其中

    • endpoint為Bucket所在地區對應的Endpoint。以華東1（杭州）為例，Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。

    • <your_bucket_name>為OSS Bucket名稱，且開頭不帶oss://。

    • <your_model_path>為模型路徑，都需要根據實際情況修改。

  • Load模型

    from io import BytesIO
    import torch
    import oss2
    from oss2.credentials import EnvironmentVariableCredentialsProvider
    
    auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
    bucket_name = "<your_bucket_name>"
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    buffer = BytesIO(bucket.get_object("<your_model_path>").read())
    model.load_state_dict(torch.load(buffer))

    其中

    • endpoint為Bucket所在地區對應的Endpoint。以華東1（杭州）為例，Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。

    • <your_bucket_name>為OSS Bucket名稱，且開頭不帶oss://。

    • <your_model_path>為模型路徑，都需要根據實際情況修改。