DataWorks資料品質支援通過統一管理自訂規則,形成自建的規則模板庫,協助您提升規則配置的效率。本文將為您介紹如何通過規則模板庫頁面和監控規則頁面建立規則模板,以及如何操作規則模板。
前提條件
您需要購買DataWorks企業版及以上版本,才可以使用規則模板庫功能。
背景資訊
您可以通過規則模板庫和監控規則兩個頁面建立規則模板。建立成功後,即可操作和應用規則模板。
注意事項
自訂規則的變更操作僅對變更後引用該規則的任務生效,不會修改存量(現有)任務的自訂規則設定。
通過規則模板庫頁面建立規則模板
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料品質。
在左側導覽列,單擊
。單擊表徵圖,選擇建立檔案夾。
在建立檔案夾對話方塊中,輸入名稱並選擇目標檔案夾,單擊確定。
在左側目錄按右鍵相應的檔案夾名稱,選擇建立規則模板。
您也可以重新命名和刪除相應的檔案夾。
在建立規則模板對話方塊,配置各項參數。
參數
描述
模板名稱
請輸入自訂的模板名稱。
規則欄位
目前僅支援自訂SQL。
採樣方式
目前僅支援自訂SQL。
Set Flag
請輸入SQL的前置
set
語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校正類型
目前支援數值型和波動率型。
校正方式
選擇不同的校正類型,對應不同的校正方式:
如果選擇的校正類型為數值型,目前校正方式僅支援與固定值比較。
僅可以返回經過count、sum等運算後的一個值,與固定值比較。
如果選擇的校正類型為波動率型,則校正方式包括7天平均值波動、30天平均值波動、1天周期比較、7天周期比較、30天周期比較、7天方差波動、30天方差波動、1,7,30天波動檢測和上一周期比較。
自訂SQL
請輸入自訂的SQL語句,您可以使用${tableName}表示表名。
說明自訂SQL的採集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目標檔案夾
選擇該自訂規則模板需要存放的檔案夾名稱。
單擊確定。
通過監控規則頁面建立規則模板
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料品質。
在左側導覽列,單擊
。在規則列表頁面,根據條件式篩選所需引擎、資料來源、資料庫執行個體,單擊相應規則ID,進入該規則的詳情頁。
說明本文以MaxCompute資料來源為例。
選擇表的指定分區運算式,單擊自訂規則。在目標自訂規則後單擊產生模板。
在產生模板對話方塊,配置各項參數。
參數
描述
模板名稱
請輸入自訂的模板名稱。
規則欄位
目前僅支援自訂SQL。
採樣方式
目前僅支援自訂SQL。
Set Flag
請輸入SQL的前置
set
語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校正類型
目前支援數值型和波動率型。
校正方式
選擇不同的校正類型,對應不同的校正方式:
如果選擇的校正類型為數值型,目前校正方式僅支援與固定值比較。
僅可以返回經過count、sum等運算後的一個值,與固定值比較。
如果選擇的校正類型為波動率型,則校正方式包括7天平均值波動、30天平均值波動、1天周期比較、7天周期比較、30天周期比較、7天方差波動、30天方差波動、1,7,30天波動檢測和上一周期比較。
自訂SQL
請輸入自訂的SQL語句,您可以使用${tableName}表示表名。
說明自訂SQL的採集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目標檔案夾
選擇該自訂規則模板需要存放的檔案夾名稱。
單擊確定。
在左側導覽列,單擊
,查看建立的規則模板。
操作規則模板
單擊相應規則模板的名稱,即可查看、編輯、刪除和複製該規則模板。
操作 | 描述 |
查看 | 您可以查看相應規則模板的參數配置、應用列表和日誌:
|
編輯 | 單擊右上方的編輯,在編輯規則模板對話方塊中修改相應的參數,單擊確認。 |
刪除 | 單擊右上方的刪除,在刪除模板對話方塊中,單擊確認。 |
複製 | 單擊右上方的複製,在複製規則模板對話方塊中,輸入模板名稱並選擇目標檔案夾,單擊確認。 |
應用規則模板
您可以在添加監控規則時,選擇和使用建立的自訂規則模板。
進入資料品質頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料品質。
在左側導覽列,單擊
。在規則列表頁面,根據條件式篩選所需引擎、資料來源、資料庫執行個體,單擊相應規則ID,進入該規則的詳情頁。
說明本文以MaxCompute資料來源為例。
選擇表的指定分區運算式,單擊建立規則。
在建立規則對話方塊,單擊 。
配置建立規則的各項參數,其中規則來源選擇為規則模板庫,並選擇相應的規則模板,更多參數說明請參見建立模板規則。
單擊大量新增。