OSSへのアクセス要求が正当なユーザーまたはアプリケーションによって送信され、OSS Connector for AI/MLが適切に初期化されるようにするには、それに応じてパラメーターを設定する必要があります。
前提条件
AI/ML用OSSコネクタがインストールされています。 詳細については、「インストール」をご参照ください。
アクセス資格情報の設定
credentialsという名前のアクセス資格設定ファイルを作成します。
mkdir -p /root/.alibabacloud && touch /root/.alibabacloud/credentials
パラメーターを設定し、設定ファイルを保存します。
例:
{ "AccessKeyId": "<Access-key-id>", "AccessKeySecret": "<Access-key-secret>", "SecurityToken": "<Security-Token>", "Expiration": "2024-08-02T15:04:05Z" }
次の表に、上記のパラメーターを示します。
パラメーター
必須
例
説明
AccessKeyId
継続する
STS.L4aB ******************
Alibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKeyシークレット。
認証にセキュリティトークンを使用する場合は、これらのパラメーターを一時的なアクセス資格情報のAccessKey IDとAccessKey secretに設定します。
AccessKeySecret
継続する
At32 ************************
SecurityToken
継続しない
STS.6MC2 ***************************************
セキュリティトークン。 このパラメーターは、Security Token Service (STS) から取得した一時的なアクセス資格情報を使用してOSSにアクセスする場合に必要です。
認証にAlibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKey secretを使用する場合、このパラメーターは空のままにします。
有効期限
継続しない
2024-08-02T15:04:05Z
認証情報の有効期限。 有効期限が切れると、OSSコネクタは認証情報を再読み込みします。 Expirationパラメーターを指定しない場合、認証情報は期限切れになりません。
認証にセキュリティトークンを使用する場合は、このパラメーターを指定することを推奨します。
認証にAlibaba CloudアカウントまたはRAMユーザーのAccessKey IDとAccessKey secretを使用する場合は、このパラメーターを空のままにします。
AccessKey IDとAccessKey secretを使用する:
例の
<Access-key-id>
および<Access-key-secret>
を、RAMユーザーのAccessKey IDおよびAccessKey secretに置き換えます。 AccessKey IDとAccessKeyシークレットの作成方法の詳細については、「AccessKeyペアの作成」をご参照ください。{ "AccessKeyId": "LTAI************************", "AccessKeySecret": "At32************************" }
一時的なアクセス資格情報を使用する:
説明本番環境でアクセス資格情報が長期間使用されるシナリオでデータのセキュリティを確保するため、一時的なアクセス資格情報を使用してAccessKey IDとAccessKeyシークレットが漏洩しないようにすることを推奨します。 一時的なアクセスを許可する場合は、一時的なアクセス資格情報を取得する必要があります。 詳細については、「STSが提供する一時的なアクセス資格情報を使用したOSSへのアクセス」をご参照ください。 一時的なアクセス資格情報を取得したら、<access-key-id> 、<Access-key-secret> 、および <Security-Token> をAccessKey ID、AccessKey secret、およびセキュリティトークンに置き換えます。
{ "AccessKeyId": "STS.L4aB******************, "AccessKeySecret": "wyLTSm*************************", "SecurityToken": "************", "Expiration": "2024-08-15T15:04:05Z" }
chmod 400 /root/.alibabacloud/credentials
コマンドを実行して、credentials
ファイルに読み取り専用権限を付与し、AccessKey IDとAccessKeyシークレットのセキュリティを確保します。
OSSコネクタの設定
OSSコネクタ用のconfig.jsonという名前の設定ファイルを作成します。
mkdir -p /etc/oss-connector/ && touch /etc/oss-connector/config.json
パラメーターを設定し、設定ファイルを保存します。
ほとんどの場合、デフォルトの設定を使用できます。
{ "logLevel": 1, "logPath": "/var/log/oss-connector/connector.log", "auditPath": "/var/log/oss-connector/audit.log", "datasetConfig": { "prefetchConcurrency": 24, "prefetchWorker": 2 }, "checkpointConfig": { "prefetchConcurrency": 24, "prefetchWorker": 4, "uploadConcurrency": 64 } }
下表に、各パラメーターを説明します。 設定を変更する前に、表の指示を注意深くお読みください。
パラメーター
必須
例
説明
logLevel
継続しない
1
ログレベル。 デフォルト値は 1 です。 パラメーターを2に設定することを推奨します。
有効な値: 0、1、2、および3。 0はDebug、1はINFO、2はWARN、3はERRORを指定します。
logPath
継続しない
/var/log/oss-connector/connector.log
OSS Connector for AI/MLログのパス。 デフォルト値:
/var/log/oss-connector/connector.log
auditPath
継続しない
/var/log/oss-connector/audit.log
OSS Connector for AI/ML監査ログのパス。レイテンシが100ミリ秒を超える読み取りおよび書き込みリクエストを記録します。 デフォルト値:
/var/log/oss-connector/audit.log
DatasetConfig
prefetchConcurrency
継続しない
24
データセットを使用してOSSからデータをプリフェッチする場合の同時ダウンロードタスクの数。 デフォルト値: 24。
prefetchWorker
×
2
データセットを使用してOSSからデータをプリフェッチするときに使用可能なvCPUの数。 デフォルト値:2
checkpointConfig
prefetchConcurrency
継続しない
24
チェックポイント読み取りを使用してOSSからデータをプリフェッチする場合の同時ダウンロードタスクの数。 デフォルト値: 24。
prefetchWorker
継続しない
4
チェックポイント読み取りを使用してOSSからデータをプリフェッチするときに使用可能なvCPUの数。 デフォルト値: 4。
uploadConcurrency
継続しない
64
チェックポイント書き込みを使用してデータをOSSにアップロードする場合の同時アップロードタスクの数。 デフォルト値: 64。
関連ドキュメント
OSS Connector for AI/MLをインストールして設定したら、Pytorchトレーニングジョブを使用して次の操作を実行できます。
OssMapDatasetを使用して、ランダムな読み取りに適したマップデータセットを作成します。 詳細については、「OSSデータを使用したランダム読み取り用のOssMapDatasetデータセットの構築」をご参照ください。
OssIterableDatasetを使用して、連続ストリーミング読み取りに適した反復可能なデータセットを作成します。 詳細については、「OSSでデータを使用して、連続ストリーミング読み取りに適した反復可能なデータセットを作成する」をご参照ください。
OssCheckpointを使用して、OSSのチェックポイントで読み取りおよび書き込み操作を実行します。 詳細については、「OSSでのチェックポイントの保存とアクセス」をご参照ください。