MaxCompute:リソース観測の使用

手順

1. MaxCompute コンソール にログインし、上部のナビゲーションバーでリージョンを選択します。

2. 左側のナビゲーションウィンドウで、[ワークエリア] > [リソース観察] を選択します。

3. リソース監視 ページで、[Data Transmission Service] タブをクリックします。

4. クォータ、プロジェクト、時間範囲、および集約アルゴリズムを選択して、各メトリックのデータをクエリします。

使用方法

手順

1. MaxCompute コンソール にログインし、上部のナビゲーションバーでリージョンを選択します。

2. 左側のナビゲーションウィンドウで、[リソース観察] をクリックします。

3. [リソース観察] ページで、[ジョブパフォーマンス監視] タブをクリックします。

4. 次のパラメーターに基づいて表示するジョブをフィルタリングおよびグループ化し、さまざまなディメンションに基づいてチャート内のメトリックデータをグループ化できます。

   パラメーター	説明
   期間	必須。完了したジョブをフィルタリングするために使用される時間範囲（開始時刻と終了時刻）。 プリセットの時間範囲を選択するか、カスタムの時間範囲を設定できます。 1d：前日。 3d：過去 3 日間。 7d：過去 7 日間。 カスタムの時間範囲：ドロップダウンリストをクリックして日付を選択し、[時間を選択] をクリックして時間範囲を選択します。 説明 デフォルトの時間範囲は前日です。最大時間範囲は 7 日、最小時間範囲は 1 時間です。過去 45 日間のジョブのみを検索できます。
   プロジェクト名	完了したジョブをフィルタリングするために使用される MaxCompute プロジェクトの名前。 説明 デフォルトでは、すべてのプロジェクトが選択されています。最大 8 つのプロジェクトを選択できます。
   クォータ	完了したジョブをフィルタリングするために使用されるコンピューティングクォータ。 説明 デフォルトでは、すべてのコンピューティングクォータが選択されています。最大 8 つのレベル 2 クォータを選択できます。コンピューティングクォータの詳細については、「新しい MaxCompute コンソールでコンピューティングリソースのクォータを管理する」をご参照ください。
   グループ化	必須。チャート内のデータのグループ。ディメンションとチャートタイプに基づいてグループを定義できます。 有効値： グループなし：選択したフィルター範囲内のすべてのジョブについて、メトリックの経時変化を表示します。これはデフォルト値です。 プロジェクト：選択したフィルター範囲内のすべてのジョブのメトリックをプロジェクト別に表示します。 説明 プロジェクトを選択した場合は、フィルターパラメーターで プロジェクト名 を指定し、最大 8 つのプロジェクトを選択する必要があります。 クォータ：選択したフィルター範囲内のすべてのジョブのメトリックをレベル 2 クォータ別に表示します。 説明 クォータを選択した場合は、フィルターパラメーターで クォータ を指定し、最大 8 つのレベル 2 クォータを選択する必要があります。 ジョブタイプ：選択したフィルター範囲内のすべてのジョブのメトリックをジョブタイプ別に表示します。 SQL：SQL ジョブ。 SQLRT：MaxCompute Query Acceleration (MCQA) SQL ジョブ。 LOT：MapReduce ジョブ。 CUPID：Spark または Mars ジョブ。 Algo_Task：機械学習ジョブ。 GRAPH：グラフコンピューティングジョブ。 ジョブの終了ステータス：選択したフィルター範囲内のすべてのジョブのメトリックを、ジョブの終了時のステータスに基づいて表示します。 成功：ジョブが成功します。 失敗：ジョブが失敗します。 キャンセル：ジョブがキャンセルされます。

5. [検索] をクリックして、各メトリックの統計を表示します。

6. オプション。[データサマリー] を選択して、選択した時間範囲に基づいて各メトリックの統計を表示します。

   パラメーター	説明
   時間ごと	1 時間は時間の粒度です。時間ごと を選択すると、現在の時間に完了したジョブのデータ統計が表示されます。デフォルトでは、時間単位の粒度のデータが表示されます。 たとえば、現在の時点が 2024 年 5 月 6 日 14:00 の場合、2024 年 5 月 6 日 14:00 から 15:00 までの時間範囲に完了したジョブの各メトリックの統計が表示されます。
   日ごと	1 日は時間の粒度です。日ごと を選択すると、現在の日に完了したジョブのデータ統計が表示されます。 たとえば、現在の日付が 2024 年 5 月 6 日の場合、2024 年 5 月 6 日 00:00 から 2024 年 5 月 7 日 00:00 までの時間範囲に完了したジョブの各メトリックの統計が表示されます。

7. 比較期間 のオプションを選択して、比較期間 で指定された日数または時間数を現在の日付または時間から差し引くことによって取得された、日または時間の既存データ統計を表示します。

   デフォルト値：比較なし。過去 30 日間、過去 7 日間、または 過去 1 日間 を選択することもできます。たとえば、現在の時点が 2024 年 5 月 6 日 14:00 で、過去 30 日間 が選択されている場合、2024 年 4 月 6 日 14:00 のデータが現在のデータと比較するために使用されます。

メトリック

• CU 使用量トレンド（単位：コア×時間）

  メトリック名	説明
  CPU 時間（単位：コア×時間）	選択したフィルター範囲内で完了したジョブに消費された CPU 時間の数。 1 CPU 時間とは、1 CPU コアが 1 時間消費されることを指します。CPU 時間の数 = CPU コアの数 × 期間
  メモリ時間（単位：GB ×時間）	選択したフィルター範囲内で完了したジョブに消費されたメモリ時間の数。 1 メモリ時間とは、1 GB のメモリ空間が 1 時間消費されることを指します。メモリ時間の数 = メモリ空間 × 期間。
  CPU 時間消費量上位 10 件の分析または メモリ時間消費量上位 10 件の分析	最も多くの CPU 時間またはメモリ時間を消費する上位 10 件のジョブと、選択したフィルター範囲内で合計 CPU 時間の最高値、平均 CPU 時間の最高値、合計メモリ時間の最高値、および平均メモリ時間の最高値でランク付けされたジョブの上位 10 件の署名と ExtNodeId を表示します。

• ジョブ実行時間（単位：秒）

  メトリック名	説明
  平均実行時間	選択したフィルター範囲内で完了したジョブの平均ジョブ期間。
  最大実行時間	選択したフィルター範囲内で完了したジョブの最大ジョブ期間。
  最小実行時間	選択したフィルター範囲内で完了したジョブの最小ジョブ期間。
  分位実行時間を選択	選択したフィルター範囲内で指定された分位数のジョブを完了するのにかかる期間。分位数は、第 1 分位数、第 5 分位数、第 10 分位数、第 50 分位数、第 90 分位数、第 95 分位数、または第 99 分位数にすることができます。 たとえば、第 99 分位数の場合、このメトリックは 99% のジョブを完了するのにかかる期間を示します。
  ジョブ実行時間上位 10 件の分析	実行時間が最も長い上位 10 件のジョブと、合計実行時間が最も長いジョブと平均実行時間が最も長いジョブでランク付けされた上位 10 件の署名と ExtNodeId を表示します。

• ジョブ数トレンド（単位：件数）：選択したフィルター範囲内で完了したジョブの数を表示します。

• ジョブスキャン量トレンド（単位：GB）：選択したフィルター範囲内で完了したジョブによってスキャンされたデータの量を表示します。単位は適応的に変更され、実際に使用された単位がチャートに表示されます。

• CU 時間あたりのジョブスキャン量トレンド（単位：GB）：選択したフィルター範囲内でジョブによって 1 CU 時間あたりにスキャンされたデータの平均量を表示します。単位は適応的に変更され、実際に使用された単位がチャートに表示されます。1 CU には、1 CPU コアと 4 GB のメモリが含まれています。値は、MAX(CPU-hours, Roundup(Memory-hours/4)) を使用して計算されます。

テナントレベルのインフォメーションスキーマ を使用して、上記のメトリックの統計を収集することもできます。Information Schema task_history テーブルには、すべての操作によって生成された タスクインスタンス が含まれていることに注意してください。ただし、コンソールの ジョブパフォーマンス監視 タブに表示されるメトリックのデータは、コンピューティングリソースを消費するジョブからのみ取得されます。したがって、テナントレベルのインフォメーションスキーマを使用して取得された統計結果は、ジョブパフォーマンス監視タブに表示される統計結果と異なる場合があります。

次の SQL 文は例を示しています。

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- ジョブが完了した時間。
       -- to_char (end_time, 'yyyy-mm-dd'), -- ジョブが完了した日付。日単位の粒度を使用する場合は、この行を使用して前の行を置き換えます。
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU 時間。
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- メモリ時間。
       avg(datediff(end_time, start_time, 'ss')), -- ジョブの平均実行時間。
       min(datediff(end_time, start_time, 'ss')), -- ジョブの最小実行時間。
       max(datediff(end_time, start_time, 'ss'))  -- ジョブの最大実行時間。
       -- status, -- グループ化基準：status：ジョブステータス。project：task_catalog。job type：task_type。
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- ビジネス要件に基づいて他のフィルター条件を追加できます。
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- ジョブが完了した日付。日単位の粒度を使用する場合は、この行を使用して前の行を置き換えます。
         -- status, -- グループ化基準：status：ジョブステータス。project：task_catalog。job type：task_type。
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- ジョブが完了した日付。日単位の粒度を使用する場合は、この行を使用して前の行を置き換えます。

よくある質問

• 質問 1：

  • 問題の説明：ジョブがプロジェクトまたはクォータ別にグループ化された後、一部のプロジェクトまたはクォータがチャートに表示されません。

  • 考えられる原因：プロジェクトまたはクォータでジョブが利用できません。

• 質問 2：

  • 問題の説明：比較期間を選択した後、比較期間に対応するデータが利用できません。

  • 考えられる原因：プロジェクトまたはクォータが比較期間内に作成されていないか、削除されている可能性があります。比較期間内にプロジェクトまたはクォータでジョブが利用できません。