Platform For AI:SanityCheck: 計算能力ヘルスチェック

コンソールの利用

PAI コンソールで DLC トレーニングジョブを作成する際に、以下の主要なパラメーターを設定してヘルスチェック機能を有効にできます。ジョブが作成されると、システムはリソースのヘルスと可用性をチェックし、チェック結果を提供します。

主要なパラメーターは次のとおりです。

• リソース情報 の設定：

  パラメーター	説明
  リソースタイプ	[Lingjun AI コンピューティング] を選択します。
  リソースソース	[リソースクォータ] を選択します。
  [リソースクォータ]	既存の Lingjun AI コンピューティングのリソースクォータを選択します。リソースクォータの作成方法の詳細については、「リソースクォータの作成」をご参照ください。
  フレームワーク	PyTorch を選択します。
  ジョブ リソース	GPU の数は 0 より大きい必要があります。

• フォールトトレランスと診断 の設定： [ヘルスチェック] スイッチをオンにし、次のパラメーターを設定します。

  パラメータ	説明
  チェックのタイミング	[ジョブ実行前] (デフォルト)：ジョブがリソースを取得した後、システムはまずトレーニングジョブのコンピューティングノードで事前チェックを実行し、その後、ご利用のコードを実行します。 [ジョブ再起動後]：ジョブが異常実行され、AIMaster 自動フォールトトレランスエンジンによって再起動されたときに、ヘルスチェックが実行されます。 説明 このオプションを選択する場合は、[自動フォールトトレランス] 機能をオンにする必要があります。詳細については、「AIMaster：エラスティック自動フォールトトレランスエンジン」をご参照ください。
  チェック項目	デフォルトでは、GPU GEMM チェック (GPU GEMM パフォーマンスを検出するため) と All-Reduce チェック (ノードの通信パフォーマンスを検出し、低速または障害のある通信ノードを特定するため) が有効になっています。 計算パフォーマンスチェック、ノード通信チェック、計算と通信のクロスチェック、およびモデルシミュレーション検証を選択できます。チェック項目と推奨シナリオの詳細については、「付録：チェック項目の説明」をご参照ください。
  最大チェック期間 (分)	ヘルスチェックの最大実行時間。デフォルト値は 30 分です。チェックがタイムアウトした場合、事前に設定されたアクションがトリガーされます。
  タイムアウト時のアクション	ヘルスチェックの実行時間が設定値を超えた場合、ジョブを次のいずれかの状態に変更することを選択できます。 [ジョブを終了] (デフォルト)：ジョブが終了し、そのステータスが [CheckFailed] に変わります。 [ジョブを一時停止]：ジョブが一時停止されます。そのステータスは [Checking] のままで、次の操作のためにさらなる手動介入またはシステムガイダンスを待ちます。
  [その他のチェック構成]	デフォルトでは Empty です。高度なパラメーター設定がサポートされています。例： ブロックしてリトライ： --max-num-of-sanity-check-restart=10。これにより、ブロックしてリトライモードが有効になります。SanityCheck が異常なノードを検出すると、システムは自動的にそのノードをブロックし、すべてのノードがパスするまでチェックを再実行します。最大リトライ回数は 10 回です。