监控规则是数据质量(DQC)的核心。数据质量支持MaxCompute、EMR(E-MapReduce)、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控,本文为您介绍如何配置MaxCompute监控。
操作步骤
步骤一:新增MaxCompute数据源
进入数据源页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入管理中心。
进入工作空间管理中心页面后,单击左侧导航栏的
,进入数据源页面。
单击新增数据源,添加MaxCompute数据源,详情请参见创建MaxCompute数据源。
单击当前页面左上方的图标,选择
。在数据开发页面左侧导航栏,单击数据源,绑定已添加的MaxCompute数据源。
说明本示例使用的测试表中添加的测试数据来自MaxCompute公开数据集,实际配置时,请为您的实际业务数据配置质量监控和质量监控规则。
步骤二:进入表质量详情页
单击当前页面左上方的图标,选择
。在左侧导航栏,单击
。在左侧数据源列表中,选择数据库后,找到需要配置数据质量规则的表,单击表名或操作列的监控配置,进入该表的表质量详情页。
说明您也可以输入目标表名(支持表名首字母模糊搜索),查找对应的表。
步骤三:创建质量监控
在表质量详情页的规则管理页签,单击质量监控视角后的,进入新建质量监控页面。
配置质量监控的相关参数。
说明您可以根据表的实际校验需求创建质量监控。创建质量监控的更多信息,详情请参见配置规则:按表(单表)。
单击保存。
步骤四:配置数据质量规则
在表质量详情页的规则管理页签,单击新建规则,进入规则配置页面。
本示例使用系统模板,创建数据质量规则。
说明您可以根据表的实际需要创建规则。创建规则的更多信息,详情请参见配置规则:按表(单表)。
将规则添加至步骤三创建的质量监控。
单击确定。
步骤五:测试规则执行
在表质量详情页的质量监控页签,找到已创建的质量监控,单击操作列的测试。
在测试运行对话框中,确认数据范围、调度时间参数后,单击测试运行。
当显示启动成功后,您可以单击查看详情,查看测试运行的具体结果。
本示例的MaxCompute测试表中数据量大于2000行,因此质量监控校验结果为红色异常。
测试规则可以正常触发后,您可以修改质量监控,将触发方式修改为生产调度触发,通过在DataWork的运维中心中,关联指定的周期调度任务,在节点运行完成后,自动触发该质量监控下的质量规则。
步骤六: 订阅质量监控
在表质量详情页的质量监控页签,找到已创建的质量监控,然后单击操作列的
。配置订阅方式和授权对象后,单击保存。
相关参考
按表配置质量监控规则及质量监控的更多信息,请参见配置规则:按表(单表)。
您也可以批量为表配置质量监控规则和质量监控,详情请参见配置规则:按模板(批量)。
查看质量监控执行详情,请参见查看质量监控执行详情。