全部產品
Search
文件中心

:舊版資料品質

更新時間:Dec 06, 2024

資料品質協助您第一時間感知源端資料的變更與ETL(Extract Transformation Load)中產生的髒資料,自動攔截問題任務,有效阻斷髒資料向下遊蔓延。避免任務產出不符合預期的問題資料,影響正常使用和業務決策。同時也能顯著降低問題處理的時間成本,避免任務重新運行帶來的資源費用浪費。

費用說明

資料品質規則運行產生的費用由兩部分組成:

  • DataWorks相關收費

    根據資料品質規則執行個體數進行按量收費,詳情請參見:資料品質計費說明

  • 非DataWorks收費

    資料品質規則校正會產生校正SQL並下推到引擎執行,資料品質規則運行將會產生引擎費用,各引擎計費細則請參考各引擎計費文檔。例如,假設您使用MaxCompute引擎隨用隨付模式時,資料品質規則校正將會產生MaxCompute引擎費用,此費用由MaxCompute引擎側收取,不在DataWorks賬單中體現。

功能介紹

資料品質支援對常見巨量資料儲存(MaxCompute、E-MapReduce Hive、Hologres等)進行品質校正。從完整性、準確性、有效性、一致性、唯一性和及時性等多個維度,配置品質監控規則。並可以將品質監控規則與調度節點進行關聯,當任務運行完成後便會觸發品質規則校正,協助您第一時間感知問題資料,按需設定規則的強弱來控制任務是否失敗退出,從而避免髒資料影響擴大,有效降低資料恢複處理的時間成本和費用成本。

資料品質各模組功能介紹如下:

名稱

描述

概覽

資料品質概覽頁面為您展示資料品質警示與阻塞情況。包括:

  • 當前登入帳號及當前工作空間下離線資料和流式資料的警示和阻塞情況。

  • 當前工作空間下各資料來源中任務的警示與阻塞趨勢圖。

我的訂閱

我的訂閱頁面為您展示當前登入帳號下通過簡訊,郵件接收警示的資料品質校正規則。此外,資料品質還支援通過DingTalk群機器人、企業微信機器人和飛書群機器人等方式發送警示資訊。

規則配置

資料品質支援按表配置或按模板配置品質監控規則,詳情請參見:配置規則:按表(單表)配置規則:按模板(批量)

任務查詢

在任務查詢頁面您可以通過表或節點搜尋表歷史校正記錄及校正詳情。

配置資料品質規則去噪

去噪管理功能支援對當前工作空間某一時間內,資料品質規則校正異常的資料不觸發警示,且不阻塞任務運行。

報告範本管理員

報告範本管理員頁面支援您建立報告模板,添加規則配置和規則啟動並執行各項指標,根據設定的統計周期、發送時間和訂閱資訊,定時產生並發送報告。

規則模板庫

資料品質支援自建規則模板庫,對通用的自訂監控規則進行統一管理,形成自建的規則模板庫,協助您提升規則配置的效率。

注意事項

  • EMR、Hologres、analyticDB for PostgreSQL、CDH在進行資料品質規則配置前,需要先進行中繼資料採集,詳情請參見中繼資料採集

  • EMR、Hologres、analyticDB for PostgreSQL、CDH配置表資料品質規則後,產出表資料的調度節點需要使用網路已經連通的獨享調度資源群組執行才可以正常觸發資料品質規則校正。

  • 一個表可以配置多個資料品質規則。

使用情境

在離線資料校正情境下,資料品質通過表配置的分區運算式來匹配節點每天產出的表分區,資料品質規則關聯產出該表資料的調度節點,當任務運行完成便會觸發品質規則校正,您可以設定規則的強弱來控制節點是否失敗退出,從而避免髒資料影響擴大,並支援通過警示配置第一時間接收警示資訊並處理。離線情境

配置規則

  • 建立規則:資料品質支援您按表建立資料品質規則,同時,也支援您通過內建規則模板來快速為一批表大量建立資料品質規則。詳情請參見:配置規則:按表(單表)配置規則:按模板(批量)

  • 訂閱規則:規則建立完成後,您可以通過規則訂閱的方式接收資料品質規則校正警示資訊,支援郵件通知郵件和簡訊通知DingTalk群機器人DingTalk群機器人@ALL飛書群機器人企業微信機器人自訂Webhook等方式進行警示。

    說明

    僅DataWorks企業版版本支援使用自訂Webhook方式。

觸發規則校正

營運中心中,當表關聯的調度節點運行(執行節點代碼邏輯)完成後,將會觸發資料品質校正(將會產生一條校正 SQL 在底層執行)。DataWorks平台將會根據資料品質規則強弱和資料品質規則校正結果決定任務是否由於品質規則校正失敗而退出,並阻塞下遊節點執行,防止髒資料影響範圍進一步擴大。

查看校正結果

您可以通過營運中心節點作業記錄和資料品質任務查詢頁面查看資料品質校正結果。

  • 通過營運中心節點作業記錄查看

    1. 查看執行個體狀態。當執行個體狀態為品質監控校正失敗時,可能是代碼運行成功但節點產出的表資料不符合預期,資料品質強規則校正未通過導致任務失敗退出並阻塞下遊執行個體運行。執行個體狀態

    2. 開啟執行個體作業記錄中的DQC日誌,查看資料品質校正結果。詳情請參見查看周期執行個體DQC日誌

  • 通過資料品質任務查詢介面查看。

    在任務查詢介面通過表或節點搜尋校正記錄及校正詳情。詳情請參見:查看監控任務