全部產品
Search
文件中心

DataWorks:查看營運大屏

更新時間:Jun 19, 2024

營運大屏為您展示工作空間的營運穩質化評量、重點關注的營運指標、調度資源使用及周期任務運行概況,以及Data Integration同步任務的運行詳情,助力您從宏觀角度快速瞭解空間任務的整體概況,及時發現並處理異常任務,提升營運效率。

使用說明

營運大屏支援選擇使用如下兩種視角查看工作空間的整體營運概覽Data Integration任務營運概況

  • 指定專案:即查看所選工作空間的營運概況。該視角可查看工作空間的營運概覽,也可單獨查看Data Integration同步任務的營運概況。

  • 全部專案:即查看當前帳號下所有工作空間的營運概況。該視角無法單獨查看Data Integration同步任務的營運概況。

使用限制

  • 標準模式開發環境營運中心不支援營運大屏功能。標準模式工作空間可在營運中心介面頂部功能表列左側切換生產環境及開發環境。

  • 營運概覽頁面僅統計周期任務及周期執行個體的相關營運情況,不包括其它類型的任務和執行個體。

進入營運大屏

登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

查看營運概覽

營運概覽頁面通過整體營運穩定性、異常營運問題、周期執行個體及周期任務運行、資源群組使用、執行個體運行及出錯情況熱門排行榜等維度,為您介紹工作空間中的營運概況。

整體營運狀態評估

通過工作空間中任務的整體運行情況,為您工作空間的營運穩定性進行了狀態評估。穩定性的健康程度分為優、良、中、差四個等級,當出現高危或低危標籤時,表示工作空間的健康程度較差,需儘快處理最佳化。通過我的全部專案視角下,可查看當前所有已加入的空間營運穩定性情況、周期執行個體數、及周期執行個體完成情況。整體營運狀態評估

查看重點關注

重點關注以智能基準及周期任務相關異常統計為維度,統計空間視角和個人視角下任務營運的異常事項。您可查看工作空間整體的異常問題情況,或僅查看您名下的異常問題(即您作為任務責任人的異常任務)概況,及時發現並治理,以免影響業務正常運行。異常問題通常,異常問題分為如下幾類:

異常問題類型

異常問題說明

相關文檔

基準執行個體破線

統計今日破線的基準執行個體數量。基準執行個體破線,即基準上的任務預計完成時間超過基準的承諾時間,未按指定時間運行完成導致觸發警示。

基準執行個體

基準執行個體預警

統計今日預警的基準執行個體數量。預警餘量能保障複雜依賴情境下重要資料在預期時間內順利產出,超出預警餘量,可能導致任務無法按時完成造成異常。

基準承諾時間及預警餘量

運行出錯事件

統計今日運行出錯的事件數目量。當任務處於基準監控範圍內,任務運行出錯會產生出錯事件。當前任務運行出錯,可能會阻塞其相關下遊任務運行,您需及時處理出錯任務,以免影響下遊任務正常運行。

事件管理

運行變慢事件

統計今日運行變慢的事件數目量。當任務處於基準監控範圍內,任務運行變慢會產生變慢事件。運行變慢即任務本次已耗用時間相比過去一段時間內的平均已耗用時間明顯變長。

任務被孤立

統計周期任務中沒有上遊依賴的周期任務個數。當節點沒有上遊依賴時,該節點會變為孤立節點,將無法再自動調度運行。

孤立節點

任務被凍結

統計凍結(暫停)狀態的周期任務個數。周期任務凍結後,該周期任務產生的執行個體也將是凍結狀態,凍結狀態的執行個體將不會運行,並且會阻塞其下遊節點執行。

任務凍結與解凍

任務到期

統計調度生效日期已過的周期任務個數。節點在調度生效日期內將自動產生周期執行個體並運行,調度生效日期範圍外將無法產生周期執行個體並自動調度。

任務被修改

今日修改的周期調度任務個數。

  • 修改操作:包括代碼變更、調度配置變更、節點狀態變更及節點責任人變更等。

  • 統計範圍:包括在資料開發(DataStudio)變更後,通過任務發布流程變更的生產任務操作,以及直接在生產環境執行的周期任務變更操作。

說明

當切換至我的視角下時,則統計的是我名下任務(即您為該任務的責任人)存在變更的節點數量。

周期執行個體及周期任務營運概況

周期執行個體及周期任務的相關營運概況如下表。

營運類別

說明

圖示

周期執行個體運行狀態分布

統計指定業務日期,當前工作空間下調度執行個體,即周期執行個體或您名下調度執行個體的運行狀態分布情況。統計的是頁面請求發生時的資料。單擊餅圖中的某個色塊,即可查看相應狀態的執行個體數量及佔比。

需重點關注如下狀態執行個體,以免影響業務正常運行:

  • 運行失敗:執行個體運行失敗,可能會阻塞其相關下遊任務運行。

  • 凍結:凍結狀態的執行個體將不會運行,並且會阻塞其下遊節點執行。

  • 運行慢: 指狀態為運行中的執行個體,如果已耗用時間大於過去10天平均值15分鐘的執行個體,會被判定為運行慢。如果歷史執行個體數小於4,則已耗用時間大於半小時的執行個體會被視為運行慢。

說明

此處僅統計正常任務,不統計空跑和凍結狀態的任務。

執行個體運行狀態分布

周期執行個體完成情況

統計頁面請求當天00:00~23:00內,當前工作空間中周期執行個體昨日、今日和歷史平均的完成情況(即運行成功或未啟動並執行執行個體個數及波動情況),並通過折線圖呈現。如果三條折線位移過多,表示在某個時間段記憶體在異常情況,需進一步檢查分析。 同時,支援指定需要查看的任務類型。

說明

此處的歷史平均統計的是近10天的執行個體完成情況。

周期執行個體完成情況

周期執行個體與周期任務趨勢

統計某段業務日期範圍內,生產環境的周期任務、周期執行個體的數量變化趨勢。最多支援查看近一年的調度任務數量變化。

說明

此處時間是根據業務日期(即昨天)進行選擇的,即如需查看今天周期執行個體或周期任務的完成情況,時間需選擇為昨天。

周期執行個體與周期任務趨勢

周期任務分布情況

統計頁面請求發生時,不同節點類型、優先順序、責任人、調度周期維度周期任務數量及佔比。餅圖的展示存在上限,若統計類型超過上限,會進行合并展示。

說明

我的全部專案視角下,支援按照工作空間查看周期任務分布情況。

任務分布情況

調度資源群組使用方式

統計指定時間段內所選調度資源群組的使用率(即運行在該資源群組上的執行個體所佔用資源的百分比)與各時間點運行在該資源群組上的執行個體數量的變化趨勢。當資源群組使用率超過80%時,建議對資源群組進行擴容,以免資源不足,影響任務正常執行。

說明
  • 最多支援統計7天的資料。

  • 資源群組使用率與資源群組上啟動並執行執行個體數量的統計維度為資源群組層級。例如,若您使用的獨享調度資源群組為多個工作空間共用,則此處統計的為多個工作空間下,該資源群組總的資源使用率和執行個體數量變化趨勢。

調度資源群組使用方式

周期執行個體運行排行及出錯排行

執行個體運行及出錯排行

  • 昨日周期執行個體熱門排行榜

    統計昨天運行時間長度、等資源時間長度和運行變慢時間長度的周期執行個體排行,目前僅展示Top30的任務。您可根據排行快速尋找耗時較久的任務,並單擊執行個體ID進入執行個體詳情頁,通過運行診斷查看當前執行個體的運行詳情。

    說明

    變慢時間長度:即昨日該執行個體運行時間長度相比歷史平均運行時間長度變慢多少,並按照差值降序排序。

  • 周期執行個體近一個月出錯熱門排行榜

    統計最近一個月的周期執行個體出錯排行,目前僅展示Top30的任務。您可快速定位近一個月出錯率較高的任務,查看任務詳情並定位出錯原因。

查看Data Integration任務營運

您可在Data Integration頁簽,查看昨天或今天Data Integration同步任務的相關概況及資源群組的使用方式。

獨享Data Integration資源群組使用方式

統計當前工作空間下所有獨享Data Integration資源群組的使用詳情,包括運行任務數、資源使用率、到期時間等。根據資源群組使用率及任務量,判斷是否需要對資源進行擴縮容等操作,合理分配資源。獨享Data Integration資源群組使用方式

說明
  • 獨享Data Integration資源群組的相關操作,詳情請參見獨享Data Integration資源群組

  • 營運大屏 > Data Integration僅統計對獨享Data Integration資源群組的相關營運情況,關於公用Data Integration資源群組的營運操作,詳情請參見使用公用資源群組

Data Integration同步任務運行狀態分布

使用餅圖統計當前工作空間下,同步任務不同運行狀態的分布情況。單擊不同色塊,即可跳轉至相應狀態任務的詳情頁,查看並處理問題任務。您需重點關注異常運行異常的任務,該類任務通常會阻塞下遊任務執行。運行狀態分布

離線同步任務運行情況

離線同步任務運行情況介紹如下表。

營運類別

說明

圖示

資料同步進度

統計所選業務日期內離線同步的資料總量及總的流量使用方式。

資料同步速度

資料同步量

根據資料來源類型展示所選業務日期內,同步資料量的拉取和寫入曲線,快速查看同步資料量較大的引擎任務,後續可考慮向該類引擎任務進行資源傾斜。

離線資料同步任務資料統計量

資料同步榜單

統計最近10個最新失敗執行個體最新成功執行個體,以便您全域查看最新的同步任務狀態。您可根據報錯資訊,快速定位執行個體運行失敗的原因並處理。

離線任務同步榜單

資料同步任務詳情

支援通過提交時間任務狀態任務名稱等條件式篩選,快速搜尋任務執行個體,查看該執行個體的運行詳情。

離線同步任務詳情

即時同步任務運行情況

即時同步任務運行情況介紹如下表。

營運類別

說明

圖示

資料同步速度

統計當前工作空間下,所有即時同步任務的資料速度和記錄速度的總和。

同步速度

資料同步任務延遲情況

統計存在延遲最高的10個即時同步任務,以便快速定位高延遲任務並及時最佳化。

任務延遲

資料同步任務警示資訊

統計最近時間即時同步任務運行產生的警示資訊,以便您快速捕捉異常情況並及時解決。

警示資訊

資料同步任務Failover資訊

統計即時同步任務在指定時間內的Failover訊息,以便總覽任務Failover的狀態。Failover詳情請參見即時同步任務運行與管理

failover