数据质量规则配置流程 - 大数据开发治理平台 DataWorks

本文为您介绍数据质量监控规则的配置流程及生效逻辑，以及规则列表的相关操作。

规则配置流程

您可基于表配置单个表的数据质量监控规则，也可基于模板，批量配置多个表的数据质量监控规则，具体如下。

基于表配置数据质量监控规则（单个配置监控规则）
按表配置质量规则主要流程如下：
1. 选择待配置规则校验的表。
2. 为表创建质量监控。
  以校验的表的具体数据范围为对象（如分区表的具体分区），通过质量规则关联质量监控的方式，定义对象数据需要进行哪些质量规则校验。
  - 可新建多个质量监控校验同一张表的不同分区，每个质量监控关联不同的质量规则，达到同一张表不同分区数据质量校验逻辑不同的目的。
  - 定义质量监控的触发方式，即是否在调度节点运行时触发规则校验，还是需要手动触发才会进行该表质量校验。
  - 定义何种情况下需要发送告警信息，您可根据数据校验结果异常等级自行决定何种异常需要发送告警信息。当表数据变更自动进行数据质量规则校验时，您可根据数据异常程度决定是否需要阻塞任务执行。
3. 配置数据质量规则添加到质量监控中。
  以质量监控中需要校验的表为对象，定义该表数据质量校验规则的校验方式。通过数据质量规则定义对该表数据的具体校验方式，从而确定该表数据是否符合预期。
  数据质量监控规则包括基于模板创建的系统模板规则，以及可自定义SQL逻辑的自定义模板规则。其中：
  - 系统模板规则：可通过DataWorks提供的内置规则模板创建规则。
  - 自定义模板规则：若系统内置规则模板无法满足您对分区表达式中数据质量的监控需求，则可使用自定义规则模板。您也可以将常用的自定义规则固化为规则模板，便于后续快速复用。
4. 测试及订阅质量监控。
具体配置操作，详情请参见配置规则：按表（单表）。
基于模板配置数据质量监控规则（批量配置监控规则）
按模板配置质量规则的主要流程如下：
1. 选择规则模板并配置校验方式。
  内置模板分为表级和字段级的模板规则，选择模板后，以待校验的表为对象，定义该表数据质量校验规则的校验方式。通过数据质量规则定义对该表数据的具体校验方式，从而确定表数据是否符合预期。
2. 批量添加需要规则校验的表或字段
  选择待批量校验的表或字段，将规则模板应用到目标表上。
3. 新建或关联质量监控
  以校验的表的具体数据范围为对象（如分区表的具体分区），通过质量规则关联质量监控的方式，定义对象数据需要进行哪些质量规则校验。
具体配置操作，详情请参见配置规则：按模板（批量）。

进入规则列表

进入数据质量页面。
登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据质量，在下拉框中选择对应工作空间后单击进入数据质量。
在左侧导航栏选择质量资产 > 规则列表，进入数据质量监控规则列表页面。

查看规则列表

规则列表

区域	功能	描述
①	数据库选择	您可以根据需要先选择待查看规则列表所在的数据库。
②	过滤项	您可以通过筛选条件过滤需要查询的质量规则。您可以根据表名、规则模板、重要程度、启用状态、关联范围、关联调度等条件进行精确筛选。
③	质量规则列表	为您展示ID/规则名称、表名、关联范围、规则模板、监控阈值、质量监控数据范围、重要程度、启用状态、关联调度等质量规则详细信息，同时您可以在操作列对规则进行修改、订阅管理、删除或查看日志等操作。订阅管理：单击后可快速订阅规则的校验结果。支持通过邮件通知、钉钉群机器人、飞书群机器人和企业微信机器人等方式发送报警信息。日志：可查看数据质量规则操作日志。
④	批量操作	您可以批量选择规则，进行关联调度、订阅管理、批量启动、批量停止和批量删除等操作。