全部产品
Search
文档中心

大数据开发治理平台 DataWorks:配置检查项

更新时间:Dec 04, 2024

检查项用于文件发布前的管控治理,主要校验规范性问题。在进行数据发布前,可通过检查项对数据开发功能相关的约束进行检查,当检查出不符合约束规范的内容时,系统会生成影响开发流程正常执行的问题事件,您可基于该事件处理暴露的问题,以保障数据开发流程可以正常执行。本文为您介绍如何查看并配置检查项。

前提条件

(可选)已创建扩展程序。若数据资产治理默认提供的检查项无法满足您的需求,您可以使用所需扩展程序注册检查项,将自定义扩展程序加入检查项的检测范围。创建扩展程序,详情请参见开发部署扩展程序:函数计算方式

背景信息

数据资产治理默认会自动生成初始检查项列表,您可按需调整各个检查项的启用状态。若默认生成的检查项不满足使用,则可将自定义扩展程序注册为所需检查项。

数据资产治理通过检查项和治理项检测数据开发流程中存在的待治理问题,根据生效环节不同,检查项和治理项的校验时间及校验内容存在差异。

  • 检查项:用于任务发布前的管控治理,主要校验发布前的规范性,拦截存在问题,预防治理问题的引入。

  • 治理项:用于任务发布后的分析环节,检测系统存在的待治理优化问题,提升数据的健康程度。

说明

DataWorks的工作空间区分标准模式和简单模式,不同模式工作空间下任务的开发流程存在一定差异,详情请参见必读:简单模式和标准模式的区别

image

本文为您介绍检查项的相关使用:

权限管控

  • 注册检查项、控制检查项启停状态需要具备如下权限之一:

    • 阿里云主账号

    • 拥有AliyunDataWorksFullAccess权限的RAM用户

    • 工作空间管理员

    • 租户级数据治理管理员

    • 工作空间级数据治理管理员

  • 普通用户仅支持查看其所在DataWorks工作空间的检查项列表。

进入检查项配置页面

  1. 进入数据资产治理。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据资产治理,然后在右侧单击进入数据资产治理

  2. 单击左侧导航栏系统配置 > 治理设置 > 检查项,进入检查项配置页面。

注册检查项(可选)

若初始检查项无法满足您的需要,则您单击注册检查项,使用自定义扩展程序注册检查项,将自定义扩展程序加入检查项的检测范围。注册完成后,需在检查项列表启用该检查项,启用后才会生效。

说明

初始检查项中与代码逻辑相关的检查项,当前仅作用于MaxCompute SQL节点,即开启该类型检查项时,仅MaxCompute SQL节点会触发该类型检查。如您需检查更多内容,则可根据相应情况注册检查项。

启用检查项

检查项开启后,数据资产治理才会对任务运行、发布等环节进行检查,并有可能因为检查不通过而阻塞发布流程,拦截存在问题,预防治理问题的引入。启用检查项包括全局启用(图中位置①)和单个启用(图中位置②),具体如下。

image

  • 全局启用:

    • 控制检查项功能是否在该租户当前地域全局开启。开启后您才可使用该功能,并且可基于工作空间设置单个检查项是否生效。若关闭该功能,则检查项功能将在该租户当前地域下整体不可用。

    • 控制该租户当前地域所有工作空间内,工作空间管理 > 扩展程序页面,是否可见平台的内置检查项。进入工作空间管理,详情请参见工作空间管理

    说明

    检查项功能默认全局开启。

  • 单个启用:用于控制单个检查项在目标工作空间是否生效。

    说明
    • 仅当全局检查项开启后,才可配置单个检查项的生效情况。

    • 检查项的作用范围为工作空间,当关闭目标检查项后,该检查项仅对当前选定的工作空间不生效,其他工作空间中该检查项仍处于启用状态。

配置检查项

检查项配置页面,您可从研发、存储、计算、质量、安全等不同维度查看当前登录账号下指定工作空间的检查项信息,并配置检查项的生效情况及相关参数。

image

主要配置说明如下:

  • 设置生效检查环节:可配置文件在代码运行、发布等环节前是否进行检查,若检查不通过将阻塞对应事件的后续流程。

  • 设置检查项参数:支持配置检查项的访问限制、运行费用上限等。不同检查项可配置的参数存在差异,具体请以实际情况为准。

批量操作检查项

若您有大量检查项待启用或关闭,则可参考下图批量操作。

image

检查项触发效果示例

若检查项开启,在数据开发中,单击提交运行发布后会触发检查,系统将会按照检查项定义逻辑进行检测。您可以进入操作检查界面查看文件检查状态,并单击状态查看校验详情。如果检查不通过,将会生成影响流程正常执行的阻塞问题事件,并阻塞对应的流程。

image

image

说明
  • 本示例中展示的界面为新版数据开发(Data Studio),如需使用,请在创建工作空间时勾选参加数据开发(Data Studio)(新版)公测,更多信息请参见创建工作空间并绑定计算资源

  • 原旧版数据开发操作方法与示例中类似。