在DataWorks執行個體任務中,E-MapReduce計算引擎任務會被分為若干作業有序執行。您可以使用DataWorks的引擎營運功能,查看各個E-MapReduce作業的詳細資料,及時尋找並清理運行有誤的作業,避免該類作業阻塞下遊任務,影響執行個體任務的正常運行。
使用限制
DataWorks目前僅支援對E-MapReduce計算引擎進行營運,並且您需要升級E-MapReduce執行包的版本後才能正常擷取營運資料。如果您當前需要使用引擎營運功能請提交工單升級E-MapReduce執行包的版本。
如果您的DataWorks專案空間沒有添加E-MapReduce引擎,則營運中心左側導覽列不會顯示引擎營運。
進入引擎營運
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入營運中心。
在左側導覽列,選擇 ,進入E-MapReduce引擎營運頁面。
查看引擎作業
E-MapReduce引擎營運頁面,為您展示了當前地區,與所選DataWorks專案空間綁定的E-MapReduce引擎,在DataWorks中下發的E-MapReduce作業的詳細資料,您可以根據需求執行如下操作:
篩選目標E-MapReduce作業。
您可以在E-MapReduce引擎營運頁面的頂部功能表列,根據不同維度進行篩選,快速查看目標作業。
類別
描述
執行個體ID
您可以通過E-MapReduce的作業ID尋找目標作業,或通過DataWorks的執行個體ID,尋找該執行個體任務下的所有EMR作業。
說明引擎營運頁面預設為您展示最近三天的引擎執行個體資料。
通過E-MapReduce的作業ID或DataWorks的執行個體ID搜尋時,僅支援展示最近30天的引擎執行個體資料。
狀態
NEW:表示E-MapReduce作業剛建立。
NEW_SAVING:表示正在儲存E-MapReduce作業。
SUBMITTED:表示E-MapReduce作業已提交執行申請。
ACCEPTED:表示發送器已接受E-MapReduce作業的執行申請。
RUNNING:表示E-MapReduce作業正在運行。
說明如果目標作業長期處於運行狀態,您可以手動終止運行目標作業所在的DataWorks執行個體任務,防止運行有誤的作業長期佔用資源,阻塞下遊任務,詳細內容請參見下文《終止運行DataWorks執行個體任務》。
FINISHED:表示E-MapReduce作業已運行結束。
SUCCESSED:表示E-MapReduce作業運行成功。
FAILED:表示E-MapReduce作業運行失敗。如果作業呈現該運行狀態,則您需要及時識別並處理相關報錯,以免阻塞下遊作業,影響任務的正常運行。
KILLED:表示由作業的執行者或管理員終止了E-MapReduce作業的運行。
EMR作業類型
當前僅支援查看MAPREDUCE及SPARK類型的作業。
查看目標作業的詳細資料。
您可以查看E-MapReduce作業的基本資料,包括作業ID、作業狀態、開始已耗用時間、結束已耗用時間、所屬DataWorks執行個體及執行個體ID等。
說明不同E-MapReduce作業所屬的DataWorks執行個體名稱可能相同,但如果不同E-MapReduce作業的運行開始時間不同時,則被認為屬於不同的DataWorks執行個體任務。您可以通過作業所屬的DataWorks執行個體ID判斷任務是否屬於同一個DataWorks執行個體任務。
通過作業的運行狀態,識別運行出錯的作業(例如,狀態為FAILED的作業為運行失敗的作業),單擊作業ID或所屬DataWorks執行個體名稱,進入相應任務詳情介面,確認並處理報錯。
您可以對開始時間或結束時間,進行升序或降序排列,直觀地查看作業的運行先後順序及運行時間長度,瞭解目標作業的運行情況。
終止運行DataWorks執行個體任務。
如果E-MapReduce作業長期處於運行狀態,即作業狀態顯示為RUNNING,則您可以勾選目標作業,單擊引擎營運頁面左下角的終止運行對應的DataWorks執行個體,終止運行目標作業所在的DataWorks執行個體任務。該類作業往往是由於運行內部出錯,導致作業不能自動終止,防止該作業長時間佔用資源,阻塞並影響其他作業的運行,則需要手動將其停止,及時處理相關報錯。
重要當多個E-MapReduce作業屬於同一個DataWorks執行個體任務時,當終止運行任意E-MapReduce作業時,都會導致DataWorks執行個體任務的運行狀態置為失敗。
當前僅支援對運行中的DataWorks執行個體任務進行終止運行操作。
執行終止運行操作後,目標執行個體任務的狀態將被置為失敗。置為失敗狀態後,當前執行個體任務會阻塞該任務的下遊節點運行。請知悉風險並謹慎操作。