全部产品
Search
文档中心

大数据开发治理平台 DataWorks:GetDataQualityEvaluationTaskInstance - 获取数据质量校验任务实例详情

更新时间:Dec 09, 2024

获取数据质量校验任务实例详情。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
Idlong

数据质量监控实例 ID。

7227550902

返回参数

名称类型描述示例值
object

Schema of Response

RequestIdstring

请求 ID。用于定位日志,排查问题。

8abcb91f-d266-4073-b907-2ed670378ed1
DataQualityEvaluationTaskInstanceobject

数据质量监控实例详情。

Statusstring

数据质量监控实例状态。

  • Running:校验中
  • Error:有规则校验出错
  • Passed:所有规则校验通过
  • Warned:有规则触发普通告警阈值
  • Critical:有规则触发严重告警阈值
Passed
Taskobject

数据质量监控。

Namestring

数据质量监控名称。

数据质量OpenAPI监控测试
Notificationsobject

通知设置

Conditionstring

通知触发条件,当满足这个条件时,会触发消息通知。目前只能支持两种条件表达式:

  • 只指定一组规则严重类型和规则校验状态,如${severity} == "High" AND ${status} == "Critical",代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical,则满足条件
  • 指定多组规则严重类型和规则校验状态,如(${severity} == "High"AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error"),代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Error,则满足条件 条件表达式中 severity 的枚举与 DataQualityRule 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。
${severity} == "High" AND ${status} == "Critical"
Notificationsarray<object>

告警方式

Notificationsobject
NotificationReceiversarray<object>

接收方取值。

NotificationReceiverobject
ReceiverTypestring

告警接收人类型。

DingdingUrl
Extensionstring

告警发送时的额外参数设置,json 格式,支持的 key 如下:

  • atAll:发送钉钉告警时,是否需要在群里@所有人。ReceiverType 为 DingdingUrl 时生效。
{ "atAll": true }
ReceiverValuesarray

告警接收人。

ReceiverValuestring

接收方取值。

  • 当接收方类型为阿里云 ID 时,接收方取值为具体阿里云用户 ID。
  • 当接收方类型为 DingdingUrl 时,接收方取值为具体钉钉机器人的告警地址。
  • 当接收方类型为 WeixinUrl 时,接收方取值为具体企业微信的告警地址。
  • 当接收方类型为 FeishuUrl 时,接收方取值为具体飞书的告警地址。
  • 当接收方类型为 WebhookUrl 时,接收方取值为具体自定义 Webhook 的告警地址。
https://api.fc.aliyuncs.com/webhook
NotificationChannelsarray<object>

通知方式。

NotificationChannelobject
Channelsarray

通知方式。

Channelstring

告警方式

  • Mail - 邮件
  • Sms - 短信
  • Phone - 电话
  • Feishu - 飞书
  • Weixin - 微信
  • Dingding - 钉钉
  • Webhook - 自定义 Webhook
Mail
Hooksarray<object>

回调设置。

Hookobject
Typestring

Hook 类型,目前只支持一种:

  • BlockTaskInstance:阻塞调度任务继续运行,数据质量监控是由调度任务触发的,那么在数据质量监控运行完成之后,会根据 Hook.Condition 来判断是否阻塞调度任务继续运行。
BlockTaskInstance
Conditionstring

Hook 触发条件,当满足这个条件时,会触发 hook 动作。目前只能支持两种条件表达式:

  • 只指定一组规则严重类型和规则校验状态,如${severity} == "High" AND ${status} == "Critical",代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical,则满足条件
  • 指定多组规则严重类型和规则校验状态,如(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error"),代表执行的规则中,如果有 severity 为 High 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Critical、或者 severity 为 Normal 的规则校验结果是 Error,则满足条件 条件表达式中 severity 的枚举与 DataQualityRule 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。
(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")
RuntimeConfstring

扩展配置,JSON 格式的字符串,只对 EMR 类型的数据质量监控生效。

  • queue:执行 EMR 数据质量校验时,使用的 yarn 队列,默认为本项目配置的队列
  • sqlEngine:执行 EMR 的数据校验时,采用的 SQL 引擎
    • HIVE_SQL
    • SPARK_SQL
{ "queue": "default" }
Triggerobject

数据质量校验任务的触发配置。

Typestring

质量监控触发类型,

  • ByManual:手动触发,默认值
  • ByScheduledTaskInstance:关联调度任务触发
ByScheduledTaskInstance
TaskIdsarray

调度任务 Id 列表,在 Type 为 ByScheduledTaskInstance 时有效。

TaskIdlong

调度任务 Id。

70006236752324
Targetobject

参看 DataQualityTarget 示例 数据质量校验任务的监控对象,参考 DataQualityTarget。

Typestring

监控对象类型。

  • Table:表
Table
DatabaseTypestring

表所属的数据库类型。

maxcompute
TableGuidstring

表在数据地图中的唯一 ID。

odps.api_trace.ods_d_api_log
PartitionSpecstring

监控的分区范围。

pt=$[yyyymmdd-1]
Descriptionstring

数据质量监控的描述信息。

OpenAPI质量监控测试
Idlong

数据质量监控 ID。

28544990
ProjectIdlong

工作空间的 ID。

20629
Parametersstring

数据质量校验执行参数,JSON 格式,可用的 key 如下:

  • triggerTime:触发时间的毫秒时间戳,数据质量监控的数据范围中$[yyyymmdd]表达式的基准时间,必填。
{ "triggerTime": 1733284062000 }
FinishTimelong

实例运行的结束时间。

1716344665000
TriggerContextstring

实例触发时的上下文信息,JSON 格式。可能包含的 key 如下:

  • TriggerClient:数据质量监控实例的触发来源,常见的如 CWF2(调度系统)等,后续有可能会新增。
  • TriggerClientId:关联到来源系统中某个具体的业务资源。比如 TriggerClient 为 CWF2 时,这里记录调度任务 ID。
{ "triggerClient": "CWF2", "triggerClientId": 70001238945 }
CreateTimelong

创建时间。

1716344665000
Idlong

数据质量监控实例 ID。

7234231689
ProjectIdlong

工作空间的 ID。

98330

示例

正常返回示例

JSON格式

{
  "RequestId": "8abcb91f-d266-4073-b907-2ed670378ed1",
  "DataQualityEvaluationTaskInstance": {
    "Status": "Passed",
    "Task": {
      "Name": "数据质量OpenAPI监控测试",
      "Notifications": {
        "Condition": "${severity} == \"High\" AND ${status} == \"Critical\"",
        "Notifications": [
          {
            "NotificationReceivers": [
              {
                "ReceiverType": "DingdingUrl",
                "Extension": "{ \"atAll\": true }",
                "ReceiverValues": [
                  "https://api.fc.aliyuncs.com/webhook"
                ]
              }
            ],
            "NotificationChannels": [
              {
                "Channels": [
                  "Mail"
                ]
              }
            ]
          }
        ]
      },
      "Hooks": [
        {
          "Type": "BlockTaskInstance",
          "Condition": "(${severity} == \"High\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Critical\") OR (${severity} == \"Normal\" AND ${status} == \"Error\")"
        }
      ],
      "RuntimeConf": "{ \"queue\": \"default\" }",
      "Trigger": {
        "Type": "ByScheduledTaskInstance",
        "TaskIds": [
          70006236752324
        ]
      },
      "Target": {
        "Type": "Table",
        "DatabaseType": "maxcompute",
        "TableGuid": "odps.api_trace.ods_d_api_log",
        "PartitionSpec": "pt=$[yyyymmdd-1]"
      },
      "Description": "OpenAPI质量监控测试",
      "Id": 28544990,
      "ProjectId": 20629
    },
    "Parameters": "{ \"triggerTime\": 1733284062000 }\n",
    "FinishTime": 1716344665000,
    "TriggerContext": "{ \"triggerClient\": \"CWF2\", \"triggerClientId\": 70001238945 }",
    "CreateTime": 1716344665000,
    "Id": 7234231689,
    "ProjectId": 98330
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
暂无变更历史