释放生成式AI的无限潜能

100 万免费令牌

降价88%

NaNDayNaN:NaN:NaN
开始激活

UpdateDataQualityEvaluationTask - 更新数据质量监控

更新时间:2025-04-14 10:37

更新数据质量校验任务。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
名称类型必填描述示例值
Targetobject

数据质量监控对象

DatabaseTypestring

表所属的数据库类型

  • maxcompute
  • hologres
  • cdh
  • analyticdb_for_mysql
  • starrocks
  • emr
  • analyticdb_for_postgresql
maxcompute
TableGuidstring

表在数据地图中的唯一 ID

odsp.openapi.ods_d_openapi_log
PartitionSpecstring

分区表的分区设置

dt=$[yyyymmdd-1]
Descriptionstring

质量监控任务描述

OpenAPI data quality monitoring test.
Namestring

质量监控任务名称

OpenAPI data quality monitoring test.
RuntimeConfstring

扩展配置,JSON 格式的字符串,只对 EMR 类型的数据质量监控生效。

  • queue:执行 EMR 数据质量校验时,使用的 yarn 队列,默认为本项目配置的队列
  • sqlEngine:执行 EMR 的数据校验时,采用的 SQL 引擎
    • HIVE_SQL
    • SPARK_SQL
{ "queue": "default", "sqlEngine": "SPARK_SQL" }
Triggerobject

数据质量校验任务的触发配置

Typestring

质量监控触发类型。

  • ByScheduledTaskInstance:关联调度任务触发
  • ByManual:手动触发
ByScheduledTaskInstance
TaskIdsarray

调度任务 Id 列表,在 Type 为 ByScheduledTaskInstance 时有效

long

调度任务节点 ID

1004979033
ProjectIdlong

项目空间 Id

10000
Hooksarray<object>

回调设置

object
Typestring

数据质量校验结束后,执行的 Hook 动作

  • BlockTaskInstance:阻塞调度任务
ByScheduledTaskInstance
Conditionstring

Hook 触发条件,当满足这个条件时,会触发 hook 动作。目前只能支持两种条件表达式:

  • 只指定一组规则严重类型和规则校验状态,如${severity} == "High" AND ${status} == "Critical",代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical,则满足条件。
  • 指定多组规则严重类型和规则校验状态,如(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error"),代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Error,则满足条件,条件表达式中 severity 的枚举与 DataQualityRule 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。
${severity} == "High" AND ${status} == "Critical"
Notificationsobject

通知订阅配置

Conditionstring

通知触发条件,当满足这个条件时,会触发消息通知。目前只能支持两种条件表达式:

  • 只指定一组规则严重类型和规则校验状态,如${severity} == "High" AND ${status} == "Critical",代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical,则满足条件
  • 指定多组规则严重类型和规则校验状态,如(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error"),代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Error,则满足条件,条件表达式中 severity 的枚举与 DataQualityRule 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。
${severity} == "High" AND ${status} == "Critical"
Notificationsarray<object>

通知设置

object
NotificationReceiversarray<object>

告警接收人设置

object
ReceiverTypestring

告警接收人类型

枚举值:
  • WebhookUrl自定义Webhook地址
  • FeishuUrl飞书通知地址
  • DingdingUrl钉钉群机器人地址
  • WeixinUrl微信通知地址
  • AliUid阿里云用户ID
DingdingUrl
Extensionstring

告警发送时的额外参数设置,json 格式,支持的 key 如下:

  • atAll:发送钉钉告警时,是否需要在群里@所有人。ReceiverType 为 DingdingUrl 时生效。
{ "atAll": true }
ReceiverValuesarray

告警接收人

string

接收方取值。

  • 当接收方类型为阿里云 ID 时,接收方取值为具体阿里云用户 ID。
  • 当接收方类型为 DingdingUrl 时,接收方取值为具体钉钉机器人的告警地址。
  • 当接收方类型为 WeixinUrl 时,接收方取值为具体企业微信的告警地址。
  • 当接收方类型为 FeishuUrl 时,接收方取值为具体飞书的告警地址。
  • 当接收方类型为 WebhookUrl 时,接收方取值为具体自定义 Webhook 的告警地址。
https://api.fc.aliyuncs.com/webhook
NotificationChannelsarray<object>

通知方式

object
Channelsarray

通知方式

string

通知方式

  • Dingding:钉钉群机器人
  • Mail:邮件
  • Weixin:微信通知
  • Feishu:飞书通知
  • Phone:电话
  • Sms:短信
  • Webhook:自定义 Webhook
Mail
DataSourceIdlong

数据源 ID,您可以调用 ListDataSources 获取数据源的 ID。

358750
DataQualityRulesarray<object>

数据质量监控关联的数据质量规则列表。

object
Namestring

数据质量规则名称。

OpenAPI test rules
Enabledboolean

数据质量规则是否启用。

true
Severitystring

规则对于业务的等级(对应页面上的强弱规则),可选的枚举值:

  • Normal
  • High
Normal
Descriptionstring

数据质量规则描述信息。

OpenAPI test rules
TemplateCodestring

规则所引用的规则模板唯一标识。

SYSTEM:field:null_value:fixed:0
SamplingConfigobject

样本采集时,所需的参数

Metricstring

采样的指标名称

  • Count:表行数
  • Min:字段最小值
  • Max:字段最大值
  • Avg:字段均值
  • DistinctCount:字段唯一值个数
  • DistinctPercent:字段唯一值个数与数据行数占比
  • DuplicatedCount:字段重复值个数
  • DuplicatedPercent:字段重复值个数与数据行数占比
  • TableSize:表大小
  • NullValueCount:字段为空的行数
  • NullValuePercent:字段为空的比例
  • GroupCount:按字段值聚合后每个值与对应的数据行数
  • CountNotIn:枚举值不匹配行数
  • CountDistinctNotIn:枚举值不匹配唯一值个数
  • UserDefinedSql:通过自定义 SQL 做样本采集
CountNotIn
MetricParametersstring

样本采集时,所需的参数

{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfigstring

具体执行采样语句前,插入执行的一些运行时参数设置语句,最长 1000 个字符。目前只支持 MaxCompute

odps.sql.type.system.odps2=True,odps.sql.hive.compatible=True
SamplingFilterstring

采样时,对不关注的数据进行二次过滤的条件,最多 16777215 个字符

status != 'Succeeded'
CheckingConfigobject

样本校验设置

Typestring

阈值计算方式

  • Fluctation:波动范围校验
  • Auto:智能阈值校验
  • FluctationDiscreate:离散值波动范围校验
  • Average:均值波动范围校验
  • Fixed:固定值校验
Fixed
ReferencedSamplesFilterstring

有些类型的阈值需要查询出一些参考样本,然后对参考样本的值进行汇总得出进行比较的阈值,这里使用一个表达式来表示参考样本的查询方式

{"bizdate": ["-1"]}
Thresholdsobject

校验阈值设置。

Expectedobject

期望的阈值设置

Operatorstring

比较符

  • >
  • >=
  • <
  • <=
  • !=
  • =
=
Valuestring

阈值数值

0
Expressionstring

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01
  • 波动下降大于 0.01:$checkValue < -0.01
  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value

$checkValue > 0.01
Warnedobject

普通警告的阈值设置

Operatorstring

比较符

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring

阈值数值

0.001
Expressionstring

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01
  • 波动下降大于 0.01:$checkValue < -0.01
  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value

$checkValue > 0.01
Criticalobject

严重警告的阈值设置

Operatorstring

比较符

  • >
  • >=
  • <
  • <=
  • !=
  • =
>
Valuestring

阈值数值。

0.01
Expressionstring

阈值表达式。

波动率类型规则必须使用表达式方式表示波动阈值。如:

  • 波动上升大于 0.01: $checkValue > 0.01
  • 波动下降大于 0.01:$checkValue < -0.01
  • 波动率绝对值:abs($checkValue) > 0.01

固定值类型规则也可以使用表达式方式配置阈值,如果同时配置,表达式优先级高于 Operator 和 Value

$checkValue > 0.01
ErrorHandlersarray<object>

质量规则校验问题处理器

object
Typestring

处理器类型:

  • SaveErrorData:保留问题数据
SaveErrorData
ErrorDataFilterstring

如果是自定义 SQL 规则,需要用户指定 SQL 来过滤问题数据。

SELECT * FROM ods_d_openapi_log WHERE status = 'Error'
Idlong

校验规则的 ID。您可以调用 ListQualityRules 接口获取规则 ID。

1022171560
Idlong

数据质量监控 ID。

7227061794

返回参数

名称类型描述示例值
名称类型描述示例值
object

Schema of Response

Successboolean

请求是否成功。

true
RequestIdstring

请求 ID。用于定位日志,排查问题。

8abcb91f-d266-4073-b907-2ed670378ed1

示例

正常返回示例

JSON格式

{
  "Success": true,
  "RequestId": "8abcb91f-d266-4073-b907-2ed670378ed1"
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
变更时间变更内容概要操作
2025-01-15API 内部配置变更,不影响调用查看变更详情
2024-12-23API 内部配置变更,不影响调用查看变更详情
  • 本页导读 (1)
  • 接口说明
  • 调试
  • 授权信息
  • 请求参数
  • 返回参数
  • 示例
  • 错误码
  • 变更历史
文档反馈
phone 联系我们

立即和Alibaba Cloud在线服务人员进行交谈,获取您想了解的产品信息以及最新折扣。

alicare alicarealicarealicare