全部產品
Search
文件中心

DataWorks:進入資料品質大盤

更新時間:Jun 19, 2024

資料品質大盤為您展示當前工作空間下,需要重點關注的資料品質總覽指標、執行個體運行後觸發的品質規則校正狀態的趨勢及分布情況、TOP品質問題表及品質問題責任人、品質規則覆蓋保障情況等,協助品質負責人快速瞭解工作空間資料品質整體情況,及時處理品質問題提升資料品質。

說明

新版資料品質正在逐步上線中,具體支援地區請以實際控制台為準,如果您的業務所在地區暫時無法使用新版資料品質的相關功能,請參見舊版資料品質文檔。

進入資料品質大盤頁面

  1. 進入資料品質頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料品質,在下拉框中選擇對應工作空間後單擊進入資料品質

  2. 在左側導覽列單擊品質大盤,進入資料品質大盤。

使用說明

資料品質大盤為您統計當前工作空間的資料品質情況。

  • 您可以在概覽頁面右上方,根據您的需求可以選擇統計今日昨日前日或指定時間內的資料品質情況。預設選擇今日資料進行即時統計。

  • 還支援您只查看生產環境的資料品質概況。

    說明

    選擇只查看生產環境時,開發表校正結果將不會被納入統計。僅標準模式工作空間有開發和生產的區分,簡單模式工作空間所有資料表都是生產表。詳情請參見必讀:簡單模式和標準模式的區別

  • 您還可以通過如下兩種視角查看工作空間的資料品質總覽。

    • 全部:為您統計當前工作空間所有類型引擎的資料品質概況。

    • 指定資料來源(MaxComputeE-MapReduceHologresAnalyticDB PostgreSQLAnalyticDB MySQL):為您統計當前工作空間指定資料來源的資料品質概況。

      說明

      暫不支援流式資料的統計。

資料品質重點關注

您可在該地區右側選擇查看規則粒度統計需要重點關注的資料品質概況。重點關注

類別

指標

描述

已配置規則表數

當前工作空間下,截止到您在概覽頁面右上方指定的日期,已配置品質校正規則的表數量。

品質問題表數

當日品質檢測執行個體運行完成並出現非通過狀態的表數,包含品質閾值校正不通過及系統校正異常情況。

已檢測表數:當日存在品質檢測執行個體且執行個體運行已完成的表數量。運行完成包含品質校正通過、校正不通過和系統校正異常狀態。

強規則問題表數

當日出現強規則執行完成,且狀態為非通過狀態的表數,包含品質閾值校正不通過及系統校正異常情況。

紅色異常表數:當日存在強規則紅色閾值校正不通過的表數。

橙色異常表數:當日存在強規則橙色閾值校正不通過的表數。

弱規則問題表數

當日出現弱規則執行完成,且狀態為非通過狀態的表數,包含品質閾值校正不通過及系統校正異常情況。

紅色異常表數:當日存在弱規則紅色閾值校正不通過的表數。

橙色異常表數:當日存在弱規則橙色閾值校正不通過的表數。

規則

總品質規則數

當前工作空間下,截止到當日已建立的規則總數。

問題品質規則數

當日品質檢測執行個體運行完成並出現非通過狀態的規則數,包含品質閾值校正不通過及系統校正異常情況。

已檢測規則數:當日品質檢測執行個體運行完成的規則數。運行完成包含品質校正通過、校正不通過和系統校正異常狀態。

問題強規則數

當日品質檢測執行個體運行完成並出現非通過狀態的強規則類型數,包含品質閾值校正不通過及系統校正異常情況。

紅色異常規則數:當日品質檢測執行個體運行完成並出現強規則紅色閾值校正不通過的規則數。

橙色異常規則數:當日品質檢測執行個體運行完成並出現強規則橙色閾值校正不通過的規則數。

問題弱規則數

當日品質檢測執行個體運行完成並出現非通過狀態的弱規則類型數,包含品質閾值校正不通過及系統校正異常情況。

紅色異常規則數:當日品質檢測執行個體運行完成並出現弱規則紅色閾值校正不通過的規則數。

橙色異常規則數:當日品質檢測執行個體運行完成並出現弱規則橙色閾值校正不通過的規則數。

品質運行監控

為您統計執行個體運行後,觸發的品質規則校正狀態的趨勢及分布情況。

指標

描述

圖示

執行個體趨勢分析

統計執行個體運行後,觸發的品質規則校正狀態的趨勢,支援按天按小時對運行品質規則的執行個體數進行統計。您可以選擇查看全部或只查看強規則弱規則的執行個體品質規則校正趨勢。

執行個體趨勢分析

執行個體運行狀態

統計執行個體運行後,觸發的品質規則校正狀態的分布情況,支援對當日運行品質規則的執行個體數進行統計。您可以選擇查看全部或只查看強規則弱規則的執行個體品質規則校正狀態的分布情況。運行狀態包括:

  • 通過:規則校正成功執行,且品質閾值校正符合預期。

  • 強規則紅色異常:強規則紅色閾值校正不通過

  • 強規則橙色異常:強規則橙色閾值校正不通過。

  • 弱規則紅色異常:弱規則紅色閾值校正不通過。

  • 弱規則橙色異常:弱規則橙色閾值校正不通過。

  • 校正失敗:規則校正未成功執行,系統未正確擷取到校正值。

執行個體運行狀態

TOP品質問題概況

根據問題品質規則數排行,為您統計截止到所選時間內的TOP品質問題表品質問題負責人列表,您可以單擊右上方的查看更多,進入運行記錄介面瞭解表歷史校正記錄及校正詳情,並及時處理。

說明

品質規則負責人為資料表分區的品質負責人,通常為分區運算式的建立人。

品質配置分析

為您從已配置品質規則表數資產比率未配置品質規則表數未啟用品質規則表數關聯調度配置缺失表數警示接收對象缺失表數維度展示資料表品質規則的整體覆蓋情況。同時,您可以單擊各維度下資料表操作列的查看詳情查看對應表的規則配置詳情。品質配置分析各維度說明如下:

  • 未配置品質規則:資料表一個品質規則都沒有配置,將會被納入統計。

    說明

    目前僅對MaxCompute資料來源進行統計。

  • 未啟用品質規則:資料表一個品質規則都沒有啟用,將會被納入統計。

  • 關聯調度配置缺失:資料表存在已配置但沒有關聯調度任務節點的品質規則,將會被納入統計。未關聯調度節點將導致品質規則只能通過測試回合執行。

  • 警示接收對象缺失:資料表存在沒有設定警示接收對象的品質規則,將會被納入統計。未設定警示接收人時,如果規則運行後出現品質問題,將無法及時擷取結果資訊。