OSSコネクタの設定

OSSへのアクセス要求が正当なユーザーまたはアプリケーションによって送信され、OSS Connector for AI/MLが適切に初期化されるようにするには、それに応じてパラメーターを設定する必要があります。

前提条件

AI/ML用OSSコネクタがインストールされています。詳細については、「インストール」をご参照ください。

アクセス資格情報の設定

credentialsという名前のアクセス資格設定ファイルを作成します。
```
mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials
```

パラメーターを設定し、設定ファイルを保存します。

例：

{
  "AccessKeyId": "<Access-key-id>",
  "AccessKeySecret": "<Access-key-secret>",
  "SecurityToken": "<Security-Token>",
  "Expiration": "2024-08-02T15:04:05Z"
}

次の表に、上記のパラメーターを示します。

パラメーター	必須	例	説明
AccessKeyId	継続する	STS.L4aB ******************	Alibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKeyシークレット。認証にセキュリティトークンを使用する場合は、これらのパラメーターを一時的なアクセス資格情報のAccessKey IDとAccessKey secretに設定します。
AccessKeySecret	継続する	At32 ************************
SecurityToken	継続しない	STS.6MC2 ***************************************	セキュリティトークン。このパラメーターは、Security Token Service (STS) から取得した一時的なアクセス資格情報を使用してOSSにアクセスする場合に必要です。認証にAlibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKey secretを使用する場合、このパラメーターは空のままにします。
有効期限	継続しない	2024-08-02T15:04:05Z	認証情報の有効期限。有効期限が切れると、OSSコネクタは認証情報を再読み込みします。 Expirationパラメーターを指定しない場合、認証情報は期限切れになりません。認証にセキュリティトークンを使用する場合は、このパラメーターを指定することを推奨します。認証にAlibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKey secretを使用する場合は、このパラメーターを空のままにします。

AccessKey IDとAccessKey secretを使用する:
例の <Access-key-id> および <Access-key-secret> を、RAMユーザーのAccessKey IDおよびAccessKey secretに置き換えます。 AccessKey IDとAccessKeyシークレットの作成方法の詳細については、「AccessKeyペアの作成」をご参照ください。
```
{
  "AccessKeyId": "LTAI************************",
  "AccessKeySecret": "At32************************"
}
```
一時的なアクセス資格情報を使用する:
説明
本番環境でアクセス資格情報が長期間使用されるシナリオでデータのセキュリティを確保するため、一時的なアクセス資格情報を使用してAccessKey IDとAccessKeyシークレットが漏洩しないようにすることを推奨します。一時的なアクセスを許可する場合は、一時的なアクセス資格情報を取得する必要があります。詳細については、「STSが提供する一時的なアクセス資格情報を使用したOSSへのアクセス」をご参照ください。一時的なアクセス資格情報を取得したら、<access-key-id> 、<Access-key-secret> 、および <Security-Token> をAccessKey ID、AccessKey secret、およびセキュリティトークンに置き換えます。
```
{
  "AccessKeyId": "STS.L4aB******************,
  "AccessKeySecret": "wyLTSm*************************",
  "SecurityToken": "************",
  "Expiration": "2024-08-15T15:04:05Z"
}
```

chmod 400 /root/.alibabacloud/credentialsコマンドを実行して、credentialsファイルに読み取り専用権限を付与し、AccessKey IDとAccessKeyシークレットのセキュリティを確保します。

OSSコネクタ用のconfig.jsonという名前の設定ファイルを作成します。
```
mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json
```

パラメーターを設定し、設定ファイルを保存します。

ほとんどの場合、デフォルトの設定を使用できます。

{
    "logLevel": 1,
    "logPath": "/var/log/oss-connector/connector.log",
    "auditPath": "/var/log/oss-connector/audit.log",
    "datasetConfig": {
        "prefetchConcurrency": 24,
        "prefetchWorker": 2
    },
    "checkpointConfig": {
        "prefetchConcurrency": 24,
        "prefetchWorker": 4,
        "uploadConcurrency": 64
    }
}

下表に、各パラメーターを説明します。設定を変更する前に、表の指示を注意深くお読みください。

パラメーター		必須	例	説明
logLevel		継続しない	1	ログレベル。デフォルト値は 1 です。パラメーターを2に設定することを推奨します。有効な値: 0、1、2、および3。 0はDebug、1はINFO、2はWARN、3はERRORを指定します。
logPath		継続しない	/var/log/oss-connector/connector.log	OSS Connector for AI/MLログのパス。デフォルト値: `/var/log/oss-connector/connector.log`
auditPath		継続しない	/var/log/oss-connector/audit.log	OSS Connector for AI/ML監査ログのパス。レイテンシが100ミリ秒を超える読み取りおよび書き込みリクエストを記録します。デフォルト値: `/var/log/oss-connector/audit.log`
DatasetConfig	prefetchConcurrency	継続しない	24	データセットを使用してOSSからデータをプリフェッチする場合の同時ダウンロードタスクの数。デフォルト値: 24。
DatasetConfig	prefetchWorker	×	2	データセットを使用してOSSからデータをプリフェッチするときに使用可能なvCPUの数。デフォルト値：2
checkpointConfig	prefetchConcurrency	継続しない	24	チェックポイント読み取りを使用してOSSからデータをプリフェッチする場合の同時ダウンロードタスクの数。デフォルト値: 24。
	prefetchWorker	継続しない	4	チェックポイント読み取りを使用してOSSからデータをプリフェッチするときに使用可能なvCPUの数。デフォルト値: 4。
	uploadConcurrency	継続しない	64	チェックポイント書き込みを使用してデータをOSSにアップロードする場合の同時アップロードタスクの数。デフォルト値: 64。

Object Storage Service:OSSコネクタの設定

前提条件

アクセス資格情報の設定

OSSコネクタの設定

関連ドキュメント