Platform For AI:OSS の使用

Python SDK を使用して JindoFuse パラメーターを変更することもできます。

1. 次の手順を実行します。

   1. ワークスペース SDK をインストールします。

      !pip install alibabacloud-aiworkspace20210204

   2. 環境変数を設定します。詳細については、「Credentials ツールのインストール」および「Linux、macOS、Windows で環境変数を設定する」をご参照ください。

2. JindoFuse パラメーターを変更します。

   高速読み取り/書き込み

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 推奨値は CPU コア数の 2 倍です。
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   増分読み取り/書き込み

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 推奨値は CPU コア数の 2 倍です。
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   読み取り/書き込みの一貫性

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   読み取り専用

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 推奨値は CPU コア数の 2 倍です。
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oro -oattr_timeout=7200 -oentry_timeout=7200 -onegative_timeout=7200 -okernel_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   異なる JindoFuse バージョンの選択

   以下はサンプルコードです。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_version():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # jindo-fuse のバージョンを構成します。6.4.4、6.7.0、または 6.6.0 に設定できます。詳細については、https://aliyun.github.io/alibabacloud-jindodata/releases/ のリリースノートをご参照ください。
       options['fs.jindo.fuse.pod.image.tag'] = "6.7.0"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   change_version()

   メタデータキャッシュの無効化

   分散タスクを実行し、複数のノードが同時に同じディレクトリに書き込もうとすると、キャッシュが原因で一部のノードでの書き込み操作が失敗する可能性があります。この問題は、JindoFuse コマンドラインパラメーターを変更し、-oattr_timeout=0-oentry_timeout=0-onegative_timeout=0 を追加することで解決できます。以下はサンプルコードです。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def turnOffMetaCache():
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
       workspace_client = AIWorkspaceClient(
         config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
         )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   turnOffMetaCache()
   

   データのアップロードまたはダウンロード用のスレッド数の調整

   次のパラメーターを構成して、スレッド数を調整できます。

   • fs.oss.upload.thread.concurrency:32

   • fs.oss.download.thread.concurrency:32

   • fs.oss.read.readahead.buffer.count:64

   • fs.oss.read.readahead.buffer.size:4194304

   以下はサンプルコードです。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustThreadNum():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.read.readahead.buffer.count'] = 32
    
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
    
    
   adjustThreadNum()
   

   AppendObject を使用した OSS ファイルのマウント

   ローカルで作成されたすべてのファイルは、AppendObject 操作を呼び出すことによって OSS オブジェクトとして作成されます。AppendObject を使用して作成されたオブジェクトのサイズは 5 GB を超えることはできません。AppendObject の制限の詳細については、「AppendObject」をご参照ください。以下はサンプルコードです。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def useAppendObject():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
       options['fs.oss.append.enable'] = "true"
       options['fs.oss.flush.interval.millisecond'] = "1000"
       options['fs.oss.read.buffer.size'] = "262144"
       options['fs.oss.write.buffer.size'] = "262144"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   useAppendObject()

   OSS-HDFS のマウント

   OSS-HDFS を有効にする方法については、「OSS-HDFS とは」をご参照ください。次のサンプルコードは、OSS-HDFS エンドポイントを使用してデータセットを作成する方法を示しています。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import CreateDatasetRequest
   
   
   def createOssHdfsDataset():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       workspace_id = '** DLC ジョブが配置されているワークスペースの ID **'
   
       oss_bucket = '** OSS バケット **'
       # OSS-HDFS エンドポイントを使用します。
       oss_endpoint = f'{region_id}.oss-dls.aliyuncs.com'
       # マウントする OSS-HDFS パス。
       oss_path = '/'
       # ローカルマウントパス。
       mount_path = '/mnt/data/'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
   
       response = workspace_client.create_dataset(CreateDatasetRequest(
           workspace_id=workspace_id,
           name="** データセットの名前 **",
           data_type='COMMON',
           data_source_type='OSS',
           property='DIRECTORY',
           uri=f'oss://{oss_bucket}.{oss_endpoint}{oss_path}',
           accessibility='PRIVATE',
           source_type='USER',
           options=json.dumps({
               'mountPath': mount_path,
               # 分散トレーニングシナリオでは、次のパラメーターを追加することをお勧めします。
               'fs.jindo.args': '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -ono_symlink -ono_xattr -ono_flock -odirect_io',
               'fs.oss.flush.interval.millisecond': "10000",
               'fs.oss.randomwrite.sync.interval.millisecond': "10000",
           })
       ))
       print(f'datasetId: {response.body.dataset_id}')
   
   createOssHdfsDataset()
   
   

   メモリリソースの構成

   fs.jindo.fuse.pod.mem.limit パラメーターを構成することで、メモリリソースを調整できます。以下はサンプルコードです。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustResource():
       # DLC ジョブが配置されているリージョンを使用します。たとえば、中国 (杭州) の場合は、region_id を 'cn-hangzhou' に設定します。
       region_id = 'cn-hangzhou'
       # Alibaba Cloud アカウントの AccessKey ペアは、すべての API 操作に対する権限を持っています。これらの認証情報を使用して操作を実行することは、リスクの高い操作です。RAM ユーザーを使用して API 操作を呼び出すか、日常の O&M を実行することをお勧めします。
       # AccessKey ペアの漏洩を防ぐため、AccessKey ID と AccessKey シークレットをプロジェクトコードに保存しないでください。
       # この例では、デフォルトの Credentials SDK を使用して環境変数から AccessKey ペアを読み取り、ID 検証を行う方法を示します。まず、Credentials ツールをインストールし、環境変数を設定する必要があります。
       cred = CredClient()
       dataset_id = '** データセットの ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. データセットのコンテンツを取得します。
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 構成するメモリリソース。
       options['fs.jindo.fuse.pod.mem.limit'] = "10Gi"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. オプションを更新します。
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   adjustResource()