全部產品
Search
文件中心

DataWorks:配置檢查項

更新時間:Jun 25, 2024

檢查項用於檔案提交發布前的管控治理,主要校正規範性問題。在進行資料開發前,可通過檢查項對資料開發功能相關的約束進行檢查,當檢查出不符合約束規範的內容時,系統會產生影響開發流程正常執行的問題事件,您可基於該事件處理暴露的問題,以保障資料開發流程可以正常執行。本文為您介紹如何查看並配置檢查項。

前提條件

  • 已啟用治理方案模板。DataWorks的治理方案模板為您提供常用的初始檢查項,您可根據業務情況選擇使用所需檢查項。當前治理方案模板預設為啟用狀態,詳情請參見查看治理方案模板

  • (可選)已建立擴充程式。若治理方案模板中的檢查項無法滿足您的需求,則可使用所需擴充程式註冊檢查項,將自訂擴充程式加入檢查項的檢測範圍。建立擴充程式,詳情請參見開發部署擴充程式:Function Compute方式

背景資訊

啟用治理方案模板後,系統會根據模板的配置自動產生初始檢查項列表,您可按需調整各個檢查項的啟用狀態。若模板產生的檢查項不滿足使用,則可將自訂擴充程式註冊為所需檢查項。

資料治理中心通過檢查項和治理項檢測資料開發流程中存在的待治理問題,根據生效環節不同,檢查項和治理項的校正時間及校正內容存在差異。

  • 檢查項:用於任務提交發布前的管控治理,主要校正提交發布前的規範性,攔截存在問題,預防治理問題的引入。

  • 治理項:用於任務提交發布後的分析環節,檢測系統存在的待治理最佳化問題,提升資料的健康程度。

說明

DataWorks的工作空間區分標準模式和簡單模式,不同模式工作空間下任務的開發流程存在一定差異,詳情請參見必讀:簡單模式和標準模式的區別

image.png

本文為您介紹檢查項的相關使用:

使用限制

  • 僅阿里雲主帳號、擁有AliyunDataWorksFullAccess許可權的RAM使用者(即子帳號)、工作空間管理員、租戶級資料治理管理員/工作空間級資料治理管理員支援註冊檢查項、控制檢查項的啟停狀態。

  • 僅阿里雲主帳號、擁有AliyunDataWorksFullAccess許可權的RAM使用者(即子帳號)、租戶級資料治理管理員可查看當前登入帳號下的檢查項列表,普通使用者僅支援查看其所在DataWorks工作空間的檢查項列表。

進入檢查項配置頁面

  1. 進入資料治理中心頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料治理 > 資料治理中心,在下拉框中選擇對應工作空間後單擊進入資料治理中心

  2. 單擊頂部功能表列的組態管理,在組態管理頁面的左側導覽列單擊檢查項,進入檢查項配置頁面。

註冊檢查項

若治理方案模板產生的初始檢查項無法滿足您的需要,則您可在檢查項配置 > 註冊檢查項,使用自訂擴充程式註冊檢查項,將自訂擴充程式加入檢查項的檢測範圍。註冊完成後,需在檢查項列表啟用該檢查項,啟用後才會生效。

說明

治理方案模板包含的初始檢查項中,與代碼邏輯相關的檢查項,當前僅作用於ODPS SQL節點,即開啟該類型檢查項時,僅ODPS SQL節點會觸發該類型檢查。如您需檢查更多內容,則可根據相應情況註冊檢查項。

啟用檢查項

檢查項開啟後,平台才會對任務提交、發布等環節進行檢查,並有可能因為檢查不通過而阻塞提交發布流程,攔截存在問題,預防治理問題的引入。啟用檢查項包括全域啟用和單個啟用,具體如下。

image.png

  • 全域啟用:

    • 控制檢查項功能是否在該租戶當前地區全域開啟。開啟後您才可使用該功能,並且可基於工作空間設定單個檢查項是否生效。若關閉該功能,則檢查項功能將在該租戶當前地區下整體不可用。

    • 控制該租戶當前地區所有工作空間內,工作空間管理 > 擴充程式頁面,是否可見平台的內建檢查項。進入工作空間管理,詳情請參見工作空間管理

    說明
    • 僅阿里雲主帳號或具有AliyunDataWorksFullAccess權限原則的RAM使用者(即子帳號)才可全域開啟或關閉檢查項功能。

    • 檢查項功能預設全域開啟。

  • 單個啟用:用於控制單個檢查項在目標工作空間是否生效。

    說明
    • 僅當全域檢查項開啟後,才可配置單個檢查項的生效情況。

    • 檢查項的作用範圍為工作空間,當關閉目標檢查項後,該檢查項僅對當前選定的工作空間不生效,其他工作空間中該檢查項仍處於啟用狀態。

配置檢查項

檢查項配置頁面,您可從研發、儲存、計算、品質、安全等不同維度查看當前登入帳號下指定工作空間的檢查項資訊,並配置檢查項的生效情況及相關參數。image.png

主要配置說明如下:

  • 設定生效檢查環節:可設定檔在代碼運行、提交、發布等環節前是否進行檢查,若檢查不通過將阻塞對應事件的後續流程。

  • 設定檢查項參數:支援配置檢查項的訪問限制、運行費用上限等。不同檢查項可配置的參數存在差異,具體請以實際情況為準。

大量操作檢查項

若您有大量檢查項待啟用或關閉,則可參考下圖大量操作。

image.png

檢查項觸發效果樣本

若檢查項開啟,在資料開發中,單擊提交後會觸發檢查,系統將會按照檢查項定義邏輯進行檢測。您可以進入操作檢查介面查看檔案檢查狀態,並單擊狀態查看校正詳情。如果檢查不通過,將會產生影響流程正常執行的阻塞問題事件,並阻塞對應的流程。

樣本