すべてのプロダクト
Search
ドキュメントセンター

Object Storage Service:OSSコネクタの設定

最終更新日:Oct 08, 2024

OSSへのアクセス要求が正当なユーザーまたはアプリケーションによって送信され、OSS Connector for AI/MLが適切に初期化されるようにするには、それに応じてパラメーターを設定する必要があります。

前提条件

AI/ML用OSSコネクタがインストールされています。 詳細については、「インストール」をご参照ください。

アクセス資格情報の設定

  1. credentialsという名前のアクセス資格設定ファイルを作成します。

    mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials
  2. パラメーターを設定し、設定ファイルを保存します。

    • 例:

      {
        "AccessKeyId": "<Access-key-id>",
        "AccessKeySecret": "<Access-key-secret>",
        "SecurityToken": "<Security-Token>",
        "Expiration": "2024-08-02T15:04:05Z"
      }
      

      次の表に、上記のパラメーターを示します。

      パラメーター

      必須

      説明

      AccessKeyId

      継続する

      STS.L4aB ******************

      Alibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKeyシークレット。

      認証にセキュリティトークンを使用する場合は、これらのパラメーターを一時的なアクセス資格情報のAccessKey IDとAccessKey secretに設定します。

      AccessKeySecret

      継続する

      At32 ************************

      SecurityToken

      継続しない

      STS.6MC2 ***************************************

      セキュリティトークン。 このパラメーターは、Security Token Service (STS) から取得した一時的なアクセス資格情報を使用してOSSにアクセスする場合に必要です。

      認証にAlibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKey secretを使用する場合、このパラメーターは空のままにします。

      有効期限

      継続しない

      2024-08-02T15:04:05Z

      認証情報の有効期限。 有効期限が切れると、OSSコネクタは認証情報を再読み込みします。 Expirationパラメーターを指定しない場合、認証情報は期限切れになりません。

      認証にセキュリティトークンを使用する場合は、このパラメーターを指定することを推奨します。

      認証にAlibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKey secretを使用する場合は、このパラメーターを空のままにします。

    • AccessKey IDとAccessKey secretを使用する:

      例の <Access-key-id> および <Access-key-secret> を、RAMユーザーのAccessKey IDおよびAccessKey secretに置き換えます。 AccessKey IDとAccessKeyシークレットの作成方法の詳細については、「AccessKeyペアの作成」をご参照ください。

      {
        "AccessKeyId": "LTAI************************",
        "AccessKeySecret": "At32************************"
      }
      
    • 一時的なアクセス資格情報を使用する:

      説明

      本番環境でアクセス資格情報が長期間使用されるシナリオでデータのセキュリティを確保するため、一時的なアクセス資格情報を使用してAccessKey IDとAccessKeyシークレットが漏洩しないようにすることを推奨します。 一時的なアクセスを許可する場合は、一時的なアクセス資格情報を取得する必要があります。 詳細については、「STSが提供する一時的なアクセス資格情報を使用したOSSへのアクセス」をご参照ください。 一時的なアクセス資格情報を取得したら、<access-key-id> 、<Access-key-secret> 、および <Security-Token> をAccessKey ID、AccessKey secret、およびセキュリティトークンに置き換えます。

      {
        "AccessKeyId": "STS.L4aB******************,
        "AccessKeySecret": "wyLTSm*************************",
        "SecurityToken": "************",
        "Expiration": "2024-08-15T15:04:05Z"
      }
      
  3. chmod 400 /root/.alibabacloud/credentialsコマンドを実行して、credentialsファイルに読み取り専用権限を付与し、AccessKey IDとAccessKeyシークレットのセキュリティを確保します。

OSSコネクタの設定

  1. OSSコネクタ用のconfig.jsonという名前の設定ファイルを作成します。

    mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json
  2. パラメーターを設定し、設定ファイルを保存します。

    ほとんどの場合、デフォルトの設定を使用できます。

    {
        "logLevel": 1,
        "logPath": "/var/log/oss-connector/connector.log",
        "auditPath": "/var/log/oss-connector/audit.log",
        "datasetConfig": {
            "prefetchConcurrency": 24,
            "prefetchWorker": 2
        },
        "checkpointConfig": {
            "prefetchConcurrency": 24,
            "prefetchWorker": 4,
            "uploadConcurrency": 64
        }
    }
    

    下表に、各パラメーターを説明します。 設定を変更する前に、表の指示を注意深くお読みください。

    パラメーター

    必須

    説明

    logLevel

    継続しない

    1

    ログレベル。 デフォルト値は 1 です。 パラメーターを2に設定することを推奨します。

    有効な値: 0、1、2、および3。 0はDebug、1はINFO、2はWARN、3はERRORを指定します。

    logPath

    継続しない

    /var/log/oss-connector/connector.log

    OSS Connector for AI/MLログのパス。 デフォルト値: /var/log/oss-connector/connector.log

    auditPath

    継続しない

    /var/log/oss-connector/audit.log

    OSS Connector for AI/ML監査ログのパス。レイテンシが100ミリ秒を超える読み取りおよび書き込みリクエストを記録します。 デフォルト値: /var/log/oss-connector/audit.log

    DatasetConfig

    prefetchConcurrency

    継続しない

    24

    データセットを使用してOSSからデータをプリフェッチする場合の同時ダウンロードタスクの数。 デフォルト値: 24。

    prefetchWorker

    ×

    2

    データセットを使用してOSSからデータをプリフェッチするときに使用可能なvCPUの数。 デフォルト値:2

    checkpointConfig

    prefetchConcurrency

    継続しない

    24

    チェックポイント読み取りを使用してOSSからデータをプリフェッチする場合の同時ダウンロードタスクの数。 デフォルト値: 24。

    prefetchWorker

    継続しない

    4

    チェックポイント読み取りを使用してOSSからデータをプリフェッチするときに使用可能なvCPUの数。 デフォルト値: 4。

    uploadConcurrency

    継続しない

    64

    チェックポイント書き込みを使用してデータをOSSにアップロードする場合の同時アップロードタスクの数。 デフォルト値: 64。

関連ドキュメント

OSS Connector for AI/MLをインストールして設定したら、Pytorchトレーニングジョブを使用して次の操作を実行できます。