全部產品
Search
文件中心

DataWorks:配置資料品質規則去噪

更新時間:Dec 11, 2024

當調度任務觸發品質監控中的規則校正時,您可以使用去噪管理功能,對當前工作空間內,資料品質規則校正異常的資料不觸發警示,且不阻塞任務運行(任務不會因為資料品質校正不通過而失敗退出)。

前提條件

已建立資料品質校正規則,詳情請參見配置規則:按表(單表)配置規則:按模板(批量)

使用限制

  • 僅阿里雲主帳號支援建立並管理去噪規則。

  • 去噪規則僅對當前工作空間內,規則的指定對象(去噪規則中指定的資料品質規則)生效。

建立去噪規則

  1. 進入去噪管理頁面。

    1. 進入資料品質大盤

    2. 在左側導覽列選擇品質營運 > 品質監控,在右上方單擊去噪管理

  2. 建立去噪規則。

    1. 單擊右上方的建立去噪規則

    2. 在彈出的建立去噪規則頁面,單擊添加去噪規則,配置如下參數。

      參數

      描述

      業務日期

      選擇需要進行去噪的業務日期,開啟去噪規則後,該業務日期對應的分區的資料不符合預期時將不阻塞任務運行。

      規則類型

      選擇需要去噪的資料品質校正規則類型,支援選擇多種類型的資料品質校正規則。

      期望值

      您可以將目標資料作為樣本值或基準值,為工作空間下指定類型的品質校正規則進行去噪。

      • 樣本值去噪:對指定時間內樣本資料進行資料品質校正時,如果校正異常,且需要不阻塞任務運行,則可選擇此功能,即上述業務時間資料不符合預期時,不會阻塞任務。

      • 基準值去噪:當資料作為基準值,在一段時間內該基準值資料不符合預期,且需要不阻塞後續一段時間內的資料品質校正,可選擇此功能。即上述業務時間的資料作為基準值校正不符合預期時,不阻塞後續任務運行。

      說明
      • 樣本

        當天採集的具體的樣本的值。例如對於SQL任務錶行數,1天波動檢測,則樣本是當天分區的錶行數

      • 基準值

        歷史樣本的對比值:

        • 如果規則是SQL任務錶行數,1天波動檢測,則基準值是前一天分區產生的錶行數

        • 如果規則是SQL任務錶行數,7天平均值波動檢測,則基準值是前7天的錶行資料的平均值

      是否啟動

      選擇是否開啟該降噪規則,開啟後當任務中存在品質規則校正不通過的資料時將不阻塞任務運行。

    3. 單擊儲存,完成去噪規則配置。

管理去噪規則

您可以在樣本去噪頁面,您可以查看已建立的去噪規則詳情,並對已建立的去噪規則進行編輯刪除的操作。管理去噪規則