すべてのプロダクト
Search
ドキュメントセンター

MaxCompute:ジョブの管理

最終更新日:Jan 10, 2025

MaxComputeの操作とメンテナンス機能を使用すると、実行中のジョブとジョブの履歴の表示、ジョブの詳細の表示、ジョブの実行中のジョブのリソース負荷の分析を行うことができます。 これはジョブの管理に役立ちます。

機能の説明

MaxComputeの操作とメンテナンス機能を使用すると、プロジェクトで実行中の履歴ジョブとジョブを表示および管理できます。

  • データ開発者はこの機能を使用して、ジョブの詳細を表示し、ジョブの例外を特定し、ジョブの問題を早期にトラブルシューティングできます。 たとえば、データ開発者は、ジョブの問題を処理するために例外が発生した1つまたは複数のジョブを終了できます。

  • 管理者はこの機能を使用して、特定の時点でのリソース負荷を表示し、リソースが属するクォータグループに基づいて効率的にシステムリソースを割り当てて管理できます。 これにより、ジョブの実行効率とパフォーマンスが向上します。

MaxComputeコンソール[ジョブ] ページで、ジョブをフィルタリングするフィルタ条件を設定できます。 これは、ジョブの詳細を照会し、ジョブを分析するのに役立ちます。 [ジョブ] ページで次の操作を実行できます。

操作

  • ジョブのフィルター

    フィルターパラメーターを設定して、ジョブの詳細を照会できます。 次の表に、フィルターパラメーターを示します。

    ジョブのフィルターパラメーター (詳細は展開)

    パラメーター

    説明

    時間範囲

    ジョブを時間範囲でフィルタリングします。 ジョブをフィルター処理するには、クエリの開始時刻と終了時刻を指定する必要があります。 このパラメータは必須です。

    説明

    このパラメータは、すべてのジョブをフィルタリングするフィルタ条件を指定します。 このパラメーターの設定に基づいて、ジョブの統計情報とジョブリストを表示するグラフが変更されます。

    時間範囲を指定して、次のジョブに関する情報を取得できます。

    • この時間範囲内で完了したジョブ。

    • クエリの終了時刻または終了時刻の3分前に実行されているジョブをします。 過去3分以内に生成されたジョブスナップショットを取得できます。 3分の時間範囲は、ジョブスナップショットを観察する時間範囲を示します。

    デフォルトの時間範囲は過去1時間です。 最大時間範囲は7日で、最小時間範囲は2分です。 過去45日間のジョブのみを検索できます。

    プリセットの時間範囲を選択できます。 [時間範囲] フィールドをクリックして、表示されるパネルで時間範囲を指定することもできます。 次のオプションを使用できます。

    • 1 h: 前の1時間

    • 12 h: 前の12時間

    • 1d: 前の1日

    • 時間範囲を選択する: クエリする年、月、日を選択し、[時間の選択] をクリックして時間範囲を選択します。

    [プロジェクトの選択]

    プロジェクトごとにジョブをフィルタリングします。

    説明

    このパラメータは、すべてのジョブをフィルタリングするフィルタ条件を指定します。 このパラメーターの設定に基づいて、ジョブの統計情報とジョブリストを表示するグラフが変更されます。

    複数のMaxComputeプロジェクトを同時に選択できます。 このパラメーターはデフォルトでは空です。

    クォータの選択

    ジョブをクォータグループでフィルタリングします。

    説明

    このパラメータは、すべてのジョブをフィルタリングするフィルタ条件を指定します。 このパラメーターの設定に基づいて、ジョブの統計情報とジョブリストを表示するグラフが変更されます。

    サブスクリプションクォータグループのみを選択できます。 このパラメーターはデフォルトでは何も指定されていません。

    説明

    従量課金ジョブをクエリするときに、このパラメーターを指定する必要はありません。

    クォータグループの詳細については、新しいMaxComputeコンソールでのクォータの管理」をご参照ください。

    ジョブタイプ

    ジョブタイプでジョブをフィルタリングします。

    説明

    このパラメータは、すべてのジョブをフィルタリングするフィルタ条件を指定します。 このパラメーターの設定に基づいて、ジョブの統計情報とジョブリストを表示するグラフが変更されます。

    有効値:

    • SQL: SQLジョブ

    • SQLRT: MaxComputeクエリアクセラレーション (MCQA) SQLジョブ

    • LOT: MapReduceジョブ

    • CUPID: スパークまたは火星のジョブ

    • AlgoTask: プラットフォームfor AI (PAI) ジョブ

    • Graph: グラフジョブ

    インスタンスID

    インスタンスIDでジョブをフィルターします。 完全一致を実行するために検索するジョブのインスタンスIDを入力できます。

    説明

    このパラメーターを指定すると、ジョブリストのジョブをフィルター処理できます。 ジョブリストは、このパラメーターの設定に基づいて変更されます。

    このパラメーターはデフォルトでは空です。

    インスタンスIDの詳細については、インスタンス情報の表示をご参照ください。

    Job Owner

    提出者ごとにジョブをフィルタリングします。 送信者は、MaxComputeジョブを送信するアカウントを示します。

    説明

    このパラメーターを指定すると、ジョブリストのジョブをフィルター処理できます。 ジョブリストは、このパラメーターの設定に基づいて変更されます。

    このパラメーターはデフォルトでは空です。

    ファジーマッチはサポートされていません。 このパラメーターの値は、ALIYUN$xxxやRAM$xxxなどの完全なアカウント名である必要があります。

    ExtNodeId

    データソースのジョブIDでジョブをフィルターし、

    説明

    このパラメーターを指定すると、ジョブリストのジョブをフィルター処理できます。 ジョブリストは、このパラメーターの設定に基づいて変更されます。

    DataWorksのノードIDなどの。 DataWorksのノードIDの詳細については、「基本プロパティの設定」をご参照ください。

    Signature

    SQLジョブのシグネチャでジョブをフィルタリングします。

    説明

    このパラメーターを指定すると、ジョブリストのジョブをフィルター処理できます。 ジョブリストは、このパラメーターの設定に基づいて変更されます。

    このパラメーターは、SQLジョブでのみ使用できます。 署名を使用して、SQL文が実行されるたびにインスタンスを見つけることができます。

    このパラメーターはデフォルトでは空です。

    最新ステータス

    ジョブの状態でジョブをフィルターします。

    説明

    このパラメーターを指定すると、ジョブリストのジョブをフィルター処理できます。 ジョブリストは、このパラメーターの設定に基づいて変更されます。

    有効な値:

    • 実行中: ジョブが実行中または完了していません。

    • 成功: ジョブは完了です。

    • Failed: ジョブの実行に失敗します。

    • Canceled: ジョブがキャンセルされました。

    • 送信済み: ジョブが送信され、コンピューティングリソースを待機します。

    このパラメータはデフォルトでは空です。 これは、すべての状態のジョブが照会されることを示します。

    説明

    [最新ステータス] 列の状態は、ジョブの全体的な状態です。 しかしながら、複数のジョブを並列に実行することができ、各ジョブは特定の副状態にあることができる。 LogViewページに移動して、ジョブの状態を表示できます。 詳細については、「LogView V2.0を使用したジョブ情報の表示」をご参照ください。

    インテリジェント診断

    インテリジェント診断結果からラベルでジョブをフィルタリングします。 デフォルトでは、ラベルは選択されていません。 インテリジェント診断結果ラベルの詳細な意味については、「ジョブのインテリジェント診断」をご参照ください。

  • ジョブの並べ替え

    ジョブフィルタリングの結果は、ジョブ完了時間の降順でソートされ、未完了のジョブが先頭に表示されます。 基本的な単一列のソートと高度な複数列のソートがサポートされています。

    • 基本的な単一列の並べ替え: リスト内の並べ替えボタンで列を昇順または降順に並べ替えます。

    • 高度な複数列の並べ替え: リストの右上隅にある [高度な並べ替え] ボタンをクリックし、[並べ替えの追加] をクリックして列を追加し、各列の昇順や降順などの並べ替え順序を指定します。 [OK] をクリックして複数列の並べ替えを適用します。

    説明

    高度なソート条件を適用すると、基本的な単一列のソートは実行できません。 リストの右上隅にある [詳細並べ替え] ボタンをクリックし、[リセット][OK] をクリックしてから、基本的な単一列並べ替えを再度実行できます。

  • ジョブの詳細を表示

    ジョブの詳細を表示するには、次の手順を実行します。ジョブリストで目的のジョブを見つけ、[操作] 列の [LogView] をクリックして、[LogView] ページに移動します。 表示されるページで、ジョブのステータス、詳細、および結果を表示します。

  • ジョブの終了

    Runningステータスの1つ以上のジョブを一度に終了します。

  • ジョブインサイト

    個々のジョブに対してインサイト操作を実行して、ジョブの概要、リソース消費、特定の時点でのクォータのリソース割り当てを表示したり、ジョブのインテリジェント診断をトリガーしたりできます。

    説明
    • インテリジェント診断は、SQLジョブ専用です。

    • 実行時間が2分未満のジョブ、またはSQL、MapReduce、Spark、およびMars以外のタイプのジョブには、ジョブレベルのリソース消費データはありません。

ジョブ統計を表示するグラフの表示

グラフには、クエリ結果に基づいて、時間とジョブの状態でスタックされた縦棒グラフのジョブ数が表示されます。 これにより、ジョブの全体的なステータスを表示できます。

チャートの説明 (詳細は展開)

スタック列チャートの各列で表される時間間隔は、[時間範囲] パラメーターによって異なります。

  • [時間範囲] パラメーターで指定された値が24時間以下の場合、積み上げ縦棒グラフの各列の最小時間間隔は2分です。 列の数は、スタックされた列チャートの長さに基づいて異なり、最大24にすることができます。

  • [時間範囲] パラメーターで指定された値が24時間を超え48時間以下の場合、スタックされた棒グラフの各列の時間間隔は2時間です。 列の数は、スタックされた列チャートの長さに基づいて異なり、最大24にすることができます。

  • [時間範囲] パラメーターで指定された値が48時間を超えて7日以下の場合、スタックされた棒グラフの各列の時間間隔は6時間です。 列の数は、積み重ねられた列チャートの長さに基づいて変化し、最大29にすることができます。

ジョブは、次のいずれかの状態になります。

  • 操作中: スナップショットでジョブが実行中の状態です。

  • 終了: ジョブが完了、失敗、または終了しました。

説明

3分間隔でジョブスナップショットを収集します。 そのため、一部のジョブのスナップショットが収集されない場合があります。 その結果、実行中の一部のジョブのスナップショットが空になる可能性があります。

グラフ上のいくつかの連続した時間間隔をドラッグして選択すると、時間範囲を短くできます。

Jobs

クエリ結果は、フィルター条件に基づいて取得され、ジョブを管理するためのジョブ情報を提供します。

説明

次のジョブ情報は収集できません。

  • 一部のジョブのスナップショット情報。 システムは3分間隔でスナップショット情報を収集します。 この場合, 収集前3分以内に開始されたジョブのスナップショットは収集されません。

  • PAIサービスに基づいて作成された特定のMaxComputeジョブ、特にRAMユーザーを使用して作成されたジョブに関する情報。

  • MaxCompute開発者版のプロジェクト内のジョブに関する情報。 MaxCompute開発者エディションは段階的に廃止されます。

データは特定の間隔で処理されます。 したがって、クエリ結果では一部のジョブが [実行中] 状態になりますが、LogViewページのジョブは完了しています。 ほとんどの場合、この問題はジョブの実行時間が短すぎる場合に発生します。 この問題が発生した場合は、LogViewページでジョブの状態を使用します。

ジョブリストのパラメーター (詳細は展開)

説明

インスタンスID

ジョブのインスタンスID。 各MaxComputeジョブはインスタンスとして実行され、インスタンスIDがあります。 この列には、ジョブが属するプロジェクト、ジョブの種類、およびジョブの優先度も表示されます。

目的のインスタンスを見つけて、LogViewで、アクション列を開き、LogViewページに移動してジョブの進行状況を表示します。 LogViewページでジョブの進行状況を表示する方法の詳細については、「LogView V2.0を使用してジョブ情報を表示する」をご参照ください。

Job Owner

MaxComputeジョブの実行に使用されるAlibaba Cloudアカウント。

アカウント情報に基づいて、ジョブオーナーを見つけることができます。 ジョブが過剰なリソースを占有し、他のジョブの実行に影響を与える場合は、ジョブの所有者に連絡してジョブを終了できます。 ジョブを終了する方法の詳細については、「インスタンス操作」をご参照ください。

最新のステータス

ジョブの最新のステータス。

インテリジェントな診断

タグは、ジョブの知的診断の結果に基づいて生成される。

提出時間

ジョブが送信された時刻。

開始時間

ジョブがコンピューティングリソースの最初のバッチを受信した時刻。 短期間実行されるジョブ、またはDDLステートメントなどのコンピューティングリソースを消費しないジョブの場合は、ジョブの送信時間が代わりに使用されます。 デフォルトでは、列は表示されません。 [表示フィールドの選択] ダイアログボックスで関連するオプションをクリックすると、列が表示されます。

待機時間

ジョブが送信されてからジョブの実行が開始されるまでの時間。 デフォルトでは、列は表示されません。 [表示フィールドの選択] ダイアログボックスで関連するオプションをクリックすると、列が表示されます。

実行時間

ジョブの開始時刻から終了時刻までの期間。 デフォルトでは、列は表示されません。 [表示フィールドの選択] ダイアログボックスで関連するオプションをクリックすると、列が表示されます。

終了時間

インスタンスの実行が完了した時刻。

総実行時間

ジョブが送信されてからジョブが完了するまでの間隔。

クォータ

ジョブが実行されるクォータグループ。

スナップショットステータス

ジョブが観察されたときのジョブの状態。

CPU使用率スナップショット

ジョブが監視されているときに、MaxComputeジョブによって使用されているCPUリソースの、クォータグループの最大値に対する割合。 割合は、次の式を使用して計算されます使用済みCPUリソース /(予約済みCPUリソース量 + 弾性予約済みCPUリソース量) このパラメーターは、従量課金リソースを使用するジョブおよびスナップショットを収集できないジョブでは使用できません。

メモリ使用率スナップショット

ジョブが監視されているときに、MaxComputeジョブによって使用されているメモリリソースの、クォータグループの最大値に対する割合。 割合は、次の式を使用して計算されます。使用済みメモリリソース /( 予約済みメモリリソース量 + 弾性予約済みメモリリソース量) 従量課金リソースを使用するジョブおよびスナップショットを収集できないジョブでは、このパラメーターは使用できません。

総使用CPUリソース

ジョブの実行時に使用されるCPUリソースの合計。 単位: 100 CPUコア /秒

総使用メモリリソース量

ジョブを実行したときの総メモリ消費量。 単位: MB /秒

ExtPlantFrom

ジョブが実行されるクライアント、

DataWorksなどの。 このパラメーターは、クライアントがジョブの実行を開始するときに渡されます。

ExtNodeId

ジョブが実行されるタスクのID、

DataWorksのノードIDなどの。 このパラメーターは、クライアントがジョブの実行を開始するときに渡されます。

ExtNodeOnDuty

所有者のAlibaba CloudアカウントID、

DataWorksノード所有者のアカウントなどの。 このパラメーターは、クライアントがジョブの実行を開始するときに渡されます。

Signature

SQLジョブの署名。

署名を使用して、SQL文が実行されるたびにインスタンスを見つけることができます。

O&Mシナリオの例

特定のジョブに関する詳細を表示する

  • シナリオ

    特定のMaxComputeジョブまたはDataWorksノードによって1時間ごとにスケジュールされたジョブの詳細を表示します。

  • 手順

    1. MaxComputeコンソールにログインします。 左側のナビゲーションウィンドウで、[ジョブ] をクリックします。

    2. ビジネス要件に基づいて [時間範囲] パラメーターを指定します。

    3. [検索] をクリックします。

    4. クエリ結果の下のドロップダウンリストからExtNodeIdまたはインスタンスIDを選択し、ジョブのExtNodeIdまたはインスタンスIDの値を入力します。

    5. アイコンをクリックしてimage.pngジョブをフィルタリングします。

      クエリ結果で、目的のインスタンスを見つけ、[操作] 列の [LogView] をクリックして、LogViewページでジョブの詳細を表示できます。 LogViewの詳細については、「LogView V2.0を使用したジョブ情報の表示」をご参照ください。

特定の時間範囲内のジョブに関する詳細を表示する

  • シナリオ

    Project_1およびProject_2プロジェクトの最終日に管理されているジョブを表示し、失敗したジョブを特定し、エラーのトラブルシューティングを行います。

  • 手順

    1. MaxComputeコンソールにログインします。 左側のナビゲーションウィンドウで、[ジョブ] をクリックします。

    2. [ジョブ] ページで、[時間範囲] パラメーターを [1d] に設定するか、最終日の現在時刻から現在の時刻までの時間範囲を設定します。

    3. [プロジェクトの選択] ドロップダウンリストから、[プロジェクト_1] および [プロジェクト_2] を選択します。

    4. クエリ結果で、目的のインスタンスを見つけ、[操作] 列の [LogView] をクリックして、LogViewページでジョブの詳細を表示できます。 LogViewの詳細については、「LogView V2.0を使用したジョブ情報の表示」をご参照ください。

特定の時点でサブスクリプションクォータを持つジョブが占有しているリソースを表示する

  • シナリオ

    サブスクリプションデフォルトクォータという名前のクォータグループ内の多数のリソースが占有されています。 その結果、複数のジョブがクォータグループのリソースを待機しています。 次の方法を使用して、クォータを使用するジョブを表示できます。

  • 手順

    1. MaxComputeコンソールにログインします。 左側のナビゲーションウィンドウで、[ジョブ] をクリックします。

    2. [時間範囲] パラメーターを1hに設定します。 または、カスタムの開始時刻を指定し、終了時刻を現在の時刻に設定します。 終了時間は、あなたが仕事を観察する時間です。

    3. Select QuotaパラメーターをSubscription Default Quotaに設定します。

    4. [検索] をクリックします。

      クエリ結果で、[スナップショットステータス][実行中] のジョブの [CPU使用率スナップショット] および [メモリ使用率スナップショット] パラメーターを表示できます。 CPU使用率スナップショットおよびメモリ使用率スナップショットパラメーターの値が大きいジョブがビジネス要件を満たしているかどうかを確認できます。 ジョブが期待どおりに実行されるかどうか、または他のジョブ情報に基づいてジョブを終了する必要があるかどうかを判断できます。

      説明

      クエリ結果で、目的のインスタンスを見つけ、[操作] 列の [LogView] をクリックして、LogViewページでジョブの詳細を表示できます。 LogViewの詳細については、「LogView V2.0を使用したジョブ情報の表示」をご参照ください。

MCQAジョブの詳細を表示する

  • シナリオ

    最後の日のMCQAジョブのステータスと詳細を表示します。

  • 手順

    1. MaxComputeコンソールにログインします。 左側のナビゲーションウィンドウで、[ジョブ] をクリックします。

    2. [時間範囲] パラメーターを1dに設定し、[ジョブの種類] ドロップダウンリストから [SQLRT (クエリアクセラレーション)] を選択します。

    3. [検索] をクリックします。

      クエリ結果で、目的のインスタンスを見つけ、[操作] 列の [LogView] をクリックして、LogViewページでジョブの詳細を表示できます。 LogViewの詳細については、「LogView V2.0を使用したジョブ情報の表示」をご参照ください。

      説明

      MCQAジョブの場合、同じセッションで複数のSQL文を実行できます。 1つのセッションは1つのインスタンスIDに対応します。 インスタンスIDをクリックすると、[LogView] ページでセッション内のすべてのSQL文のステータスを表示できます。 [Operation and Maintenance] ページでこのタイプのジョブをクエリする場合、次の問題に注意してください。

      • アクティブなセッションは、一部のSQL文がまだ実行中であることを示します。 セッションがアクティブのままの場合、ジョブは実行中の状態になります。

      • セッションが期限切れまたは終了した場合、ジョブは [キャンセル済み] 状態になります。

特定の時点でのジョブのリソース消費量とコンピューティングクォータのリソース割り当てを表示する

  • シナリオ

    ジョブが長期間完了せず、[LogView] ページで原因を特定できない場合は、ジョブを分析して、リソースが不足しているために問題が発生しているかどうかを確認できます。 ジョブの完了後、ジョブが低速で実行されている場合は、ジョブを分析して、リソース不足による問題が発生していないかどうかを確認できます。

  • 手順

    1. MaxComputeコンソールにログインします。 左側のナビゲーションウィンドウで、[ジョブ] をクリックします。

    2. [ジョブ] ページで、[時間範囲] および [クォータの選択] パラメーターを指定し、[検索] をクリックしてMaxComputeジョブをフィルタリングします。

    3. 取得した結果で、目的のジョブを見つけ、[操作] 列の [インサイト] をクリックして、[ジョブのインサイト] ページに移動します。

    4. [CU Usage] タブでは、ジョブのライフサイクルにおけるリソース消費量を表示できます。

      • リソース消費チャートに基づいて、使用済みの計算ユニット (CU) の数の傾向と、特定の期間内にジョブによって使用されるまで待機しているCUの数、および特定の期間内のクォータグループレベルでのCUメトリックの傾向を表示できます。 ジョブで使用されるCUの数が少ないが、クォータグループ内のジョブで使用されるCUの数が多い場合、または継続的に上限に達している場合でも、クォータグループ内のリソースは不十分です。 この場合、他のジョブは現在のジョブからコンピューティングリソースを先取りします。

      • リソース消費トレンドチャートの横軸の時点をクリックすると、その時点のクォータグループのリソース割り当てを表示できます。 CUを使用しているジョブの数とCUの使用を待機しているジョブの数を表示し、既存のジョブの優先順位に関する統計を表示できます。 目的の優先順位に対応する凡例をクリックすると、ジョブリストに移動してジョブの詳細を表示できます。 これにより、現在のジョブからコンピューティングリソースを先取りするジョブを特定できます。 ジョブの優先度を調整したり、コンピューティングリソースを管理したりして、ビジネス要件に基づいてジョブの実行を最適化できます。 詳細については、「ジョブの優先度」または「新しいMaxComputeコンソールでのクォータの管理」をご参照ください。

次に何をすべきか

ジョブはリソースを過剰に占有し、他のジョブの実行に影響を与えます。

  • ジョブがビジネス要件を満たしていない場合は、ジョブを終了できます。

  • ジョブがビジネス要件を満たしている場合、クォータグループ内のリソースの無効な設定が存在します。 この場合、リソース構成プランを最適化する必要があります。 詳細については、「コンピューティングコストの最適化」をご参照ください。

関連ドキュメント

コマンドを実行して、ジョブの詳細とステータスを表示し、ジョブを終了できます。 詳細は、「インスタンス操作」をご参照ください。