全部產品
Search
文件中心

DataWorks:引擎營運

更新時間:Feb 28, 2024

在DataWorks執行個體任務中,E-MapReduce計算引擎任務會被分為若干作業有序執行。您可以使用DataWorks的引擎營運功能,查看各個E-MapReduce作業的詳細資料,及時尋找並清理運行有誤的作業,避免該類作業阻塞下遊任務,影響執行個體任務的正常運行。

使用限制

  • DataWorks目前僅支援對E-MapReduce計算引擎進行營運,並且您需要升級E-MapReduce執行包的版本後才能正常擷取營運資料。如果您當前需要使用引擎營運功能請提交工單升級E-MapReduce執行包的版本。

  • 如果您的DataWorks專案空間沒有添加E-MapReduce引擎,則營運中心左側導覽列不會顯示引擎營運

進入引擎營運

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

  2. 在左側導覽列,選擇引擎營運 > E-MapReduce,進入E-MapReduce引擎營運頁面。

查看引擎作業

E-MapReduce引擎營運頁面,為您展示了當前地區,與所選DataWorks專案空間綁定的E-MapReduce引擎,在DataWorks中下發的E-MapReduce作業的詳細資料,您可以根據需求執行如下操作:引擎營運介面

  • 篩選目標E-MapReduce作業。

    您可以在E-MapReduce引擎營運頁面的頂部功能表列,根據不同維度進行篩選,快速查看目標作業。

    類別

    描述

    執行個體ID

    您可以通過E-MapReduce的作業ID尋找目標作業,或通過DataWorks的執行個體ID,尋找該執行個體任務下的所有EMR作業。

    說明
    • 引擎營運頁面預設為您展示最近三天的引擎執行個體資料。

    • 通過E-MapReduce的作業ID或DataWorks的執行個體ID搜尋時,僅支援展示最近30天的引擎執行個體資料。

    狀態

    • NEW:表示E-MapReduce作業剛建立。

    • NEW_SAVING:表示正在儲存E-MapReduce作業。

    • SUBMITTED:表示E-MapReduce作業已提交執行申請。

    • ACCEPTED:表示發送器已接受E-MapReduce作業的執行申請。

    • RUNNING:表示E-MapReduce作業正在運行。

      說明

      如果目標作業長期處於運行狀態,您可以手動終止運行目標作業所在的DataWorks執行個體任務,防止運行有誤的作業長期佔用資源,阻塞下遊任務,詳細內容請參見下文《終止運行DataWorks執行個體任務》

    • FINISHED:表示E-MapReduce作業已運行結束。

    • SUCCESSED:表示E-MapReduce作業運行成功。

    • FAILED:表示E-MapReduce作業運行失敗。如果作業呈現該運行狀態,則您需要及時識別並處理相關報錯,以免阻塞下遊作業,影響任務的正常運行。

    • KILLED:表示由作業的執行者或管理員終止了E-MapReduce作業的運行。

    EMR作業類型

    當前僅支援查看MAPREDUCESPARK類型的作業。

  • 查看目標作業的詳細資料。

    • 您可以查看E-MapReduce作業的基本資料,包括作業ID、作業狀態、開始已耗用時間、結束已耗用時間、所屬DataWorks執行個體及執行個體ID等。

      說明

      不同E-MapReduce作業所屬的DataWorks執行個體名稱可能相同,但如果不同E-MapReduce作業的運行開始時間不同時,則被認為屬於不同的DataWorks執行個體任務。您可以通過作業所屬的DataWorks執行個體ID判斷任務是否屬於同一個DataWorks執行個體任務。

    • 通過作業的運行狀態,識別運行出錯的作業(例如,狀態為FAILED的作業為運行失敗的作業),單擊作業ID所屬DataWorks執行個體名稱,進入相應任務詳情介面,確認並處理報錯。

    • 您可以對開始時間結束時間,進行升序或降序排列,直觀地查看作業的運行先後順序及運行時間長度,瞭解目標作業的運行情況。

  • 終止運行DataWorks執行個體任務。

    如果E-MapReduce作業長期處於運行狀態,即作業狀態顯示為RUNNING,則您可以勾選目標作業,單擊引擎營運頁面左下角的終止運行對應的DataWorks執行個體,終止運行目標作業所在的DataWorks執行個體任務。該類作業往往是由於運行內部出錯,導致作業不能自動終止,防止該作業長時間佔用資源,阻塞並影響其他作業的運行,則需要手動將其停止,及時處理相關報錯。

    重要
    • 當多個E-MapReduce作業屬於同一個DataWorks執行個體任務時,當終止運行任意E-MapReduce作業時,都會導致DataWorks執行個體任務的運行狀態置為失敗。

    • 當前僅支援對運行中的DataWorks執行個體任務進行終止運行操作。

    • 執行終止運行操作後,目標執行個體任務的狀態將被置為失敗。置為失敗狀態後,當前執行個體任務會阻塞該任務的下遊節點運行。請知悉風險並謹慎操作。