MaxCompute のジョブ O&M 機能を使用すると、過去のジョブと実行中のジョブを表示できます。この機能を使用して、ジョブの実行詳細を把握し、実行時のリソース負荷を分析し、ジョブの O&M を実行できます。
機能
MaxCompute のジョブ O&M 機能を使用すると、過去のジョブと実行中のジョブを表示および管理できます。
データ開発者にとって、ジョブ O&M 機能はジョブの詳細を表示し、例外や問題を迅速に検出して対処し、ジョブを終了するのに役立ちます。
管理者にとって、ジョブ O&M 機能は特定の時点でのクォータグループのリソース負荷を表示するのに役立ちます。これにより、システムリソースを効率的に割り当てて管理し、ジョブの実行効率とパフォーマンスを向上させることができます。
MaxCompute コンソールの 操作とメンテナンス ページでは、フィルター条件を設定して特定のジョブを検索できます。これにより、ジョブの詳細を表示して分析を行うことができます。この機能は、次の操作を提供します。
操作
ジョブのフィルター
次の表で説明するパラメーターに基づいてジョブをフィルターできます。詳細については、「パラメーターの説明」をご参照ください。
ジョブのソート
デフォルトでは、ジョブは終了時刻の降順でソートされ、実行中のジョブが最初にリストされます。基本的な単一列ソートまたは高度な複数列ソートを実行できます。
基本的な単一列ソート：列ヘッダーのソートボタンをクリックして、データを昇順または降順にソートします。
高度な複数列ソート：複数列ソートを実行するには、リストの右上隅にある 高度なソート ボタンをクリックします。次に、[ソートの追加] をクリックして複数の列を追加し、各列のソート順を [昇順] または [降順] に指定し、[OK] をクリックします。
高度な並べ替えがアクティブな場合、基本的な単一列ソートは実行できません。基本的な単一列ソートに戻るには、リストの右上隅にある 高度なソート ボタンをクリックし、[リセット] をクリックしてから、[OK] をクリックします。
ジョブ詳細の表示
ジョブリストで、ジョブの 操作 列にある [LogView] をクリックして LogView ページを開きます。このページでは、ジョブの実行ステータス、実行詳細、および結果を表示できます。
ジョブの終了
最新ステータス が
Runningのジョブに対して、[終了] または [一括終了] 操作を実行できます。ジョブインサイトの取得
ジョブリストで、ジョブの 操作 列にある インサイト をクリックします。これにより、ジョブの概要、リソース消費量、および特定の時点でのコンピューティングクォータのリソース割り当てを表示できます。また、ジョブのスマート診断をトリガーすることもできます。
現在、スマート診断は SQL ジョブのみでサポートされています。
実行時間が 2 分未満のジョブ、または SQL、MapReduce、Spark、Mars ジョブ以外のジョブでは、ジョブレベルのリソース消費量データは利用できません。
ジョブ統計チャート
フィルター結果に基づいて、時間とステータスでグループ化されたジョブ数を示す積み上げ縦棒グラフが生成されます。このチャートは、ジョブの全体的な実行ステータスを視覚化するのに役立ちます。
別の 時間範囲 を選択すると、チャート内の各列が表す期間は異なります。
時間範囲 が 24 時間以内の場合：各列の最小時間間隔は 2 分です。列の数は自動的に調整され、最大で 24 になります。
時間範囲 が 24 時間を超え 48 時間以内の場合：各列の時間間隔は 2 時間に固定されます。列の数は自動的に調整され、最大で 24 になります。
時間範囲 が 48 時間を超え 7 日以内の場合：各列の時間間隔は 6 時間です。列の数は自動的に調整され、最大で 29 になります。
統計に含まれるジョブのステータスは次のとおりです。
実行中：スナップショットのステータスが実行中です。
完了：ジョブが成功、失敗、または終了しました。
ジョブのスナップショットデータは 3 分ごとに収集されます。このため、一部のジョブではスナップショットデータが利用できない場合があります。実行中のジョブのスナップショットステータスも空になることがあります。
チャート上でマウスをドラッグして時間範囲を選択し、短縮することができます。
ジョブリスト
ジョブリストには、指定したフィルター条件に一致するジョブが表示され、基本的なジョブ情報が提供されます。MaxCompute は、さまざまなシナリオに合わせて 共通リスト と スナップショット一覧 を提供します。
共通リスト：特定の時間範囲内のすべてのジョブに関する情報を表示します。
スナップショット一覧：特定の時点で実行中のジョブのスナップショット情報を表示します。これには、スナップショットステータス、CPU とメモリの使用量、リクエスト量、およびスナップショット時点での使用率が含まれます。
ジョブリストのパラメーターの説明については、「パラメーターの説明」をご参照ください。
適用範囲
現在、以下のジョブ情報は収集できません。
ジョブのスナップショットデータは 3 分ごとに収集されます。このため、収集前の 3 分以内に開始されたジョブのスナップショットデータは収集できません。
PAI を介して開始された一部の MaxCompute ジョブ、特に RAM ユーザーによって開始されたジョブは収集できません。
Developer Edition プロジェクト (廃止予定) のジョブは収集できません。
データは特定の頻度で処理されます。現在の時刻のジョブリストを表示すると、最新ステータス が Running の一部のジョブが LogView ではすでに完了している場合があります。この不一致は、実行時間が非常に短いジョブで発生する可能性が高くなります。LogView のステータスが最も正確です。
パラメーターの説明
グローバルジョブフィルターパラメーター
以下のパラメーターは、ジョブ統計チャートとジョブリストの両方の表示に影響します。
パラメーター | 説明 |
時間範囲 |
|
プロジェクト選択 | MaxCompute プロジェクト名でフィルターします。複数の MaxCompute プロジェクトを選択できます。デフォルトでは空です。 |
クォータの選択 |
|
ジョブタイプ |
|
ジョブリスト検索パラメーター
以下のパラメーターは、ジョブリストの結果に対して二次検索を実行するために使用され、ジョブリストにのみ影響します。次の図は、検索コントロールの場所を示しています。
パラメーター | 説明 |
インスタンス ID |
|
宿題のオーナー |
|
ExtNodeId |
|
外部ノード名 | MaxCompute ジョブを実行したソースジョブ名で検索します。 |
[署名] | SQL ジョブの署名で検索します。これは SQL ジョブでのみ利用可能です。この署名を使用して、同じ SQL 実行のすべてのインスタンスを検索します。デフォルトでは空です。 |
ジョブリスト項目フィルターパラメーター
以下のパラメーターは、ジョブリストの結果に対して二次フィルターを実行するために使用され、ジョブリストにのみ影響します。フィルターするには、列名の横にあるフィルターアイコン 
をクリックします。
パラメーター | 説明 |
最新ステータス |
|
優先順位 |
|
インテリジェント診断 |
|
通常のリストのパラメーター説明
列名 | 説明 |
[インスタンス ID] | 各 MaxCompute ジョブに対してインスタンスが生成され、各インスタンスには対応するインスタンス ID があります。ジョブのプロジェクト、コンピューティングクォータ、タイプも表示されます。
|
最新ステータス | ジョブの最新ステータス。 |
宿題のオーナー | MaxCompute ジョブを実行する Alibaba Cloud アカウント。 アカウント情報に基づいてジョブオーナーを見つけることができます。ジョブが過剰なリソースを消費し、他のジョブに影響を与える場合は、オーナーに連絡してジョブを終了させることができます。ジョブの終了方法については、「インスタンス操作」をご参照ください。 |
優先順位 | 各ジョブには 0 から 9 の優先度があります。値が小さいほど優先度が高くなります。優先度の高いジョブは、優先度の低いジョブよりも先に計算リソースを取得します。詳細については、「ジョブの優先度」をご参照ください。 |
提出時間 | インスタンスが送信された時刻。 |
開始時間 | ジョブが最初の計算リソースを受け取った時刻。実行にかかる時間が少なすぎる、またはコンピューティングリソースを消費しないジョブ (DDL文など) の場合は、ジョブの送信時間を置き換えます。 デフォルトでは表示されません。リストオプションをカスタマイズして表示できます。 |
待ち時間 | ジョブが送信されてから実行を開始するまでのジョブの期間。開始時刻がない場合は、送信時刻からスナップショット時刻までの期間です。 デフォルトでは表示されません。リストオプションをカスタマイズして表示できます。 |
ランニング期間 | 開始時刻から終了時刻までのジョブの長さ。 デフォルトでは表示されません。リストオプションをカスタマイズして表示できます。 |
実行終了時間 | ジョブ実行の終了時刻 |
総稼働時間 | 送信時間から終了時間までのジョブの合計実行時間 |
CPUの累積使用量 | ジョブ実行中の合計 CPU 消費量。単位は |
累積メモリ使用量 | ジョブ実行中の合計メモリ消費量。単位は |
CPU使用率のスナップショット | 締め切り1分前にジョブに対して収集された最新のCPU使用率 (CPU使用率/(予約済みCPU保証 + エラスティックリザーブドCPU))。従量課金ジョブにはこの情報がなく、スナップショット情報を収集できないジョブもありません。ソートはサポートされていません。ソートする必要がある場合は、スナップショットリストに移動します。 |
メモリ使用量スナップショット | 時間範囲期限の1分前にジョブに対して収集された最新のメモリ使用率 (メモリ使用量/(予約済みメモリ保証 + 弾性予約メモリ))。従量課金ジョブにはこの情報がなく、スナップショット情報を収集できないジョブもありません。ソートはサポートされていません。ソートする必要がある場合は、スナップショットリストに移動します。 |
スキャンボリューム | ジョブによって計算された入力データの量。 |
インテリジェント診断 | ジョブのスマート診断結果から生成されたタグ。 |
外部プラットフォーム ID | DataWorks など、ジョブを開始したクライアント。 リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
ExtNodeId | 開始側のタスクのID。 リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
外部ノード名 | The task Name that corresponds to the job initiator, such as the Name of a DataWorks scheduling node. リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
[ExtNodeOnDuty] | ジョブ開始側に対応するタスク所有者。 リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
署名 | SQLジョブ署名。この署名を使用して、各SQL実行のインスタンスを検索できます。 |
スナップショットリストのパラメーター説明
列名 | パラメーターの説明 |
インスタンス ID | 各 MaxCompute ジョブに対してインスタンスが生成され、各インスタンスには対応するインスタンス ID があります。ジョブのプロジェクト、コンピューティングクォータ、タイプも表示されます。
|
スナップショット時間 | このジョブのスナップショット情報が収集された時刻 |
スナップショットのステータス | 観察時の操作の状態 |
宿題のオーナー | MaxCompute ジョブを実行する Alibaba Cloud アカウント。 アカウント情報に基づいてジョブオーナーを見つけることができます。ジョブが過剰なリソースを消費し、他のジョブに影響を与える場合は、オーナーに連絡してジョブを終了させることができます。ジョブの終了方法については、「インスタンス操作」をご参照ください。 |
優先順位 | 各ジョブには 0 から 9 の優先度があります。値が小さいほど優先度が高くなります。優先度の高いジョブは、優先度の低いジョブよりも先に計算リソースを取得します。詳細については、「ジョブの優先度」をご参照ください。 |
CPU使用率 | スナップショット時のジョブのCPU使用率。単位: コア |
CPUリクエスト | スナップショット時のジョブのCPUリクエスト数。単位: コア |
CPU満足度 | スナップショット時点でのジョブのCPU使用率/CPUリクエスト |
CPU使用率のスナップショット | 締め切り1分前にジョブに対して収集された最新のCPU使用率 (CPU使用率/(予約済みCPU保証 + エラスティックリザーブドCPU))。従量課金ジョブにはこの情報がなく、スナップショット情報を収集できないジョブもありません。ソートはサポートされていません。ソートする必要がある場合は、スナップショットリストに移動します。 |
メモリ使用量 | スナップショット時点でのジョブのメモリ量 単位は表示用に自動的に調整されます。 |
メモリ要求 | スナップショット時点でのジョブによるメモリ要求の量 単位は表示用に自動的に調整されます。 |
メモリ満足率 | スナップショット時点でのジョブのメモリ使用量/メモリ要求 |
メモリ使用量スナップショット | 観測時のジョブのメモリ使用率 (メモリ使用率/(予約メモリ保証 + 弾性予約メモリ))この情報は、従量課金ジョブやスナップショットデータのないジョブでは利用できません。 |
提出時間 | ジョブの提出時間 |
総稼働時間 | 送信時間から終了時間までのジョブの合計実行時間 |
[ExtPlatformId] | DataWorks など、ジョブを開始したクライアント。 リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
[ExtNodeId] | 開始側のタスクのID。 リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
[ExtNodeOnDuty] | ジョブ開始側に対応するタスク所有者。 リクエスタはジョブを開始する際にこの情報を渡す必要があります。情報の受け渡しに関する規則の詳細については、「一般的なジョブ識別規則」をご参照ください。 |
署名 | SQLジョブ署名。この署名を使用して、各SQL実行のインスタンスを検索できます。 |
一般的な O&M シナリオ
特定のジョブの実行詳細の表示
シナリオ
DataWorks の時間単位のスケジューリングノードによって開始されたジョブの実行ステータスを表示したり、特定の MaxCompute ジョブを監査したりする必要があります。
操作手順
MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、 を選択します。
ジョブリストの上部で、[ExtNodeId] または [インスタンス ID] を選択し、対応する値を入力します。
アイコンをクリックしてフィルターを適用します。
特定の期間のジョブ実行詳細の表示
O&M シナリオ
担当している 2 つのプロジェクト、Project_1 と Project_2 で過去 1 日間に実行されたジョブを表示し、どのジョブが失敗したかを分析して解決する必要があります。
操作手順
MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、を選択します。
時間範囲 を 1d に設定するか、時間範囲 を当日の
00:00:00から現在時刻までに設定します。プロジェクト選択 ドロップダウンリストで、Project_1 と Project_2 を選択します。
特定の時点でのサブスクリプションクォータのジョブリソース使用量の表示
O&M シナリオ
デフォルトのサブスクリプションクォータのリソース使用率が高く、多くのジョブが待機しています。クォータリソースを消費している特定のジョブを特定する必要があります。
操作手順
MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、 を選択します。
時間範囲 を [1h] に設定するか、開始時刻と終了時刻をカスタマイズします。
クォータの選択 パラメーターを
Default Subscription Quotaに設定し、検索 をクリックします。結果リストで、最新ステータス が
Runningのジョブの CPU使用率のスナップショット と メモリ使用量スナップショット を確認します。使用率が最も高いジョブがビジネス要件と一致しているかどうかを確認し、他のジョブ情報を使用して、ジョブが期待どおりに実行されているか、または終了する必要があるかを判断できます。
高速クエリジョブの実行詳細の表示
O&M シナリオ
過去 1 日間の高速クエリジョブの実行ステータスと詳細を表示する必要があります。
操作手順
MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、 を選択します。
時間範囲 を [1d] に、ジョブタイプ を [SQLRT] (クエリ加速) に設定し、検索 をクリックします。
高速クエリ機能を使用するジョブでは、同じセッションで複数の SQL コマンドが実行される場合があります。1 つのセッションは 1 つのインスタンス ID に対応します。そのインスタンス ID の LogView を使用して、セッション内のすべての SQL コマンドの実行ステータスを表示できます。このため、操作とメンテナンス ページで高速クエリジョブを表示する際には、次の点に注意してください。
セッションが終了していない場合 (たとえば、一部の SQL コマンドは完了したが、他のコマンドはまだ実行中の場合)、ジョブの 最新ステータス は
Runningです。セッションの有効期限が切れるか、インターフェイスが閉じられたためにセッションが終了した場合、ジョブの 最新ステータス は
キャンセル済みになります。
特定の時点でのジョブリソース消費量とコンピューティングクォータのリソース割り当ての表示
O&M シナリオ
ジョブが完了せずに長時間実行されており、LogView で原因を特定するのが困難です。あるいは、完了したジョブの実行時間が予想よりも長い場合があります。リソース供給の問題が原因であるかどうかを分析する必要があります。
操作手順
MaxCompute コンソールにログインし、左上のコーナーでリージョンを選択します。
左側のナビゲーションウィンドウで、 を選択します。
時間範囲 を選択し、クォータの選択 パラメーターでフィルターし、検索 をクリックします。
必要なインスタンス ID の 操作 列にある インサイト をクリックして、求人情報 ページを開きます。
リソース消費 タブで、ジョブのライフサイクル全体のリソース消費量を表示します。
リソース消費量チャートは、ジョブレベルでの使用 CU と待機 CU の経時的な変化傾向、およびクォータレベルでの使用 CU と待機 CU の変化傾向を示します。ジョブの CU 使用率が低い一方で、クォータレベルの CU 使用率が高いか、継続的に上限に達している場合、クォータリソースが不足しており、他のジョブが現在のジョブと計算リソースを競合していることを示します。
リソース消費量チャートの横軸上の時点をクリックすると、その時点でのコンピューティングクォータのリソース割り当てが表示されます。これには、ジョブの数とその優先度分布が含まれます。対象の優先度のカラーブロックをクリックしてジョブリストを開き、対応するジョブの詳細を表示します。これにより、どの特定のジョブが現在のジョブと計算リソースを競合しているかを特定できます。ビジネスニーズに基づいて、タスク実行の最適化、ジョブ優先度の調整、または計算リソースの管理を行うことができます。詳細については、「ジョブの優先度」または「計算リソース - クォータ管理」をご参照ください。
次のステップ
ジョブのリソース使用率が常に高く、他の多くのジョブが待機している場合は、次のアクションを実行します。
ジョブがビジネス要件を満たしていない場合は、ジョブを停止します。
ジョブがビジネス要件を満たしている場合、クォータリソースの構成が適切ではありません。この場合、リソース構成を最適化する必要があります。詳細については、「計算リソース構成の最適化」をご参照ください。
関連ドキュメント
コマンドを使用してジョブ情報を表示し、ジョブステータスを確認し、ジョブを停止する方法については、「インスタンス操作」をご参照ください。