資料品質規則配置流程 - DataWorks

本文為您介紹資料品質監控規則的配置流程及生效邏輯，以及規則列表的相關操作。

規則配置流程

您可基於表配置單個表的資料品質監控規則，也可基於模板，大量設定多個表的資料品質監控規則，具體如下。

基於表配置資料品質監控規則（單個配置監控規則）
按表配置品質規則主要流程如下：
1. 選擇待配置規則校正的表。
2. 為表建立品質監控。
  以校正的表的具體資料範圍為對象（如分區表的具體分區），通過品質規則關聯品質監控的方式，定義對象資料需要進行哪些品質規則校正。
  - 可建立多個品質監控校正同一張表的不同分區，每個品質監控關聯不同的品質規則，達到同一張表不同分區資料品質校正邏輯不同的目的。
  - 定義品質監控的觸發方式，即是否在調度節點運行時觸發規則校正，還是需要手動觸發才會進行該表品質校正。
  - 定義何種情況下需要發送警示資訊，您可根據資料校正結果異常等級自行決定何種異常需要發送警示資訊。當表資料變更自動進行資料品質規則校正時，您可根據資料異常程度決定是否需要阻塞任務執行。
3. 配置資料品質規則添加到品質監控中。
  以品質監控中需要校正的表為對象，定義該表資料品質校正規則的校正方式。通過資料品質規則定義對該表資料的具體校正方式，從而確定該表資料是否符合預期。
  資料品質監控規則包括基於模板建立的系統模板規則，以及可自訂SQL邏輯的自訂模板規則。其中：
  - 系統模板規則：可通過DataWorks提供的內建規則模板建立規則。
  - 自訂模板規則：若系統內建規則模板無法滿足您對分區運算式中資料品質的監控需求，則可使用自訂規則模板。您也可以將常用的自訂規則固化為規則模板，便於後續快速複用。
4. 測試及訂閱品質監控。
具體配置操作，詳情請參見配置規則：按表（單表）。
基於模板配置資料品質監控規則（大量設定監控規則）
按模板配置品質規則的主要流程如下：
1. 選擇規則模板並配置校正方式。
  內建模板分為表級和欄位級的模板規則，選擇模板後，以待校正的表為對象，定義該表資料品質校正規則的校正方式。通過資料品質規則定義對該表資料的具體校正方式，從而確定表資料是否符合預期。
2. 大量新增需要規則校正的表或欄位
  選擇待批量校正的表或欄位，將規則模板應用到目標表上。
3. 建立或關聯品質監控
  以校正的表的具體資料範圍為對象（如分區表的具體分區），通過品質規則關聯品質監控的方式，定義對象資料需要進行哪些品質規則校正。
具體配置操作，詳情請參見配置規則：按模板（批量）。

進入規則列表

進入資料品質頁面。
登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的資料建模與開發 > 資料品質，在下拉框中選擇對應工作空間後單擊進入資料品質。
在左側導覽列選擇品質資產 > 規則列表，進入資料品質監控規則列表頁面。

查看規則列表

規則列表

地區	功能	描述
①	資料庫選擇	您可以根據需要先選擇待查看規則列表所在的資料庫。
②	過濾項	您可以通過篩選條件過濾需要查詢的品質規則。您可以根據表名、規則模板、重要程度、啟用狀態、關聯範圍、關聯調度等條件進行精確篩選。
③	品質規則列表	為您展示ID/規則名稱、表名、關聯範圍、規則模板、監控閾值、品質監控資料範圍、重要程度、啟用狀態、關聯調度等品質規則詳細資料，同時您可以在操作列對規則進行修改、訂閱管理、刪除或查看日誌等操作。訂閱管理：單擊後可快速訂閱規則的校正結果。支援通過郵件通知、DingTalk群機器人、飛書群機器人和企業微信機器人等方式發送警示資訊。日誌：可查看資料品質規則動作記錄。
④	大量操作	您可以批量選擇規則，進行關聯調度、訂閱管理、批量啟動、批量停止和批量刪除等操作。