DataWorks資料品質支援通過統一管理自訂規則,形成自建的規則模板庫,協助您提升規則配置的效率。本文將為您介紹如何建立自訂規則模板,以及如何操作自訂規則模板。
前提條件
您需要購買DataWorks企業版及以上版本,才可以使用規則模板庫功能。
背景資訊
您可以通過規則模板庫建立規則模板。建立成功後,即可操作和應用規則模板。
注意事項
自訂規則的變更操作僅對變更後引用該規則的任務生效,不會修改存量(現有)任務的自訂規則設定。
建立自訂規則模板
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料品質。
在左側導覽列,單擊
。單擊表徵圖,選擇建立檔案夾。
在建立檔案夾對話方塊中,輸入名稱並選擇目標檔案夾,然後單擊確定。
在左側目錄按右鍵相應的檔案夾名稱,選擇建立規則模板。
您也可以重新命名和刪除相應的檔案夾。
在建立規則模板對話方塊,配置各項參數。
參數
描述
模板名稱
請輸入自訂的模板名稱。
規則欄位
目前僅支援自訂SQL。
採樣方式
目前僅支援自訂SQL。
Set Flag
請輸入SQL的前置
set
語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校正類型
目前支援數值型和波動率型。
校正方式
選擇不同的校正類型,對應不同的校正方式:
如果選擇的校正類型為數值型,目前校正方式僅支援與固定值比較。
僅可以返回經過count、sum等運算後的一個值,與固定值比較。
如果選擇的校正類型為波動率型,則校正方式包括:
7天平均值波動
30天平均值波動
1天周期比較
7天周期比較
30天周期比較
7天方差波動
30天方差波動
1,7,30天波動檢測
上一周期比較。
自訂SQL
請輸入自訂的SQL語句,您可以使用${tableName}表示表名。
說明自訂SQL的採集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目標檔案夾
選擇該自訂規則模板需要存放的檔案夾名稱。
單擊確定。
操作規則模板
單擊相應規則模板的名稱,即可查看、編輯、刪除和複製該規則模板。
操作 | 描述 |
查看 | 您可以查看相應規則模板的參數配置、應用列表和日誌:
|
編輯 | 單擊右上方的編輯,在編輯規則模板對話方塊中修改相應的參數,單擊確認。 |
刪除 | 單擊右上方的刪除,在刪除模板對話方塊中,單擊確認。 |
複製 | 單擊右上方的複製,在複製規則模板對話方塊中,輸入模板名稱並選擇目標檔案夾,單擊確認。 |
應用自訂規則模板
您可以在添加監控規則時,選擇和使用建立的自訂規則模板。
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料品質。
進入按表配置監控規則。
在左側導覽列,單擊
,進入按表配置規則頁面。左側資料來源列表按需選擇待配置規則的表所在的資料庫。
根據資料庫類型、資料庫、表名等條件式篩選,單擊目標表名或操作列的監控配置,進入該表的表品質詳情頁。
該頁面展示了當前表所有已配置的品質規則,您可通過規則是否已關聯品質監控來快速過濾目標規則,並對未關聯品質監控的規則定義規則運行方式。
在表品質詳情頁的規則管理頁簽,單擊建立規則,進入規則配置頁面。
通過自訂規則模板建立資料品質規則。
引用規則時,將自動顯示該模板的基本配置(例如Flag參數,校正SQL)等,您可以自訂規則名稱,並按照規則類型,配置監控閾值(例如數值型規則需要定義正常閾值、紅色閾值,此外,波動型規則還需要定義橙色閾值。)
各參數解釋,詳見建立自訂規則模板。
單擊確定。
相關文檔
您可以在按表配置規則時,應用自訂規則模板。更多資訊,請參見配置規則:按表(單表)。