全部产品
Search
文档中心

大数据开发治理平台 DataWorks:ListQualityResultsByRule - 校验数据源质量

更新时间:Nov 21, 2024

根据校验规则校验数据源的质量,并查询校验结果。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
RuleIdlong

使用的校验规则 ID。您可以使用该规则 ID 与分区表达式等信息进行联合查询。

152322134
StartDatestring

业务日期起始时间,格式为 yyyy-MM-dd HH:mm:ss。

该参数与 EndDate 配合使用,二者所取的时间区间不能大于 7 天。

2020-09-20 00:00:00
EndDatestring

业务日期截止时间,格式为 yyyy-MM-dd HH:mm:ss。

该参数与 StartDate 配合使用,二者所取的时间区间不能大于 7 天。

2020-09-22 00:00:00
PageSizeinteger

每页显示的条数,默认为 10 条,最大 20 条。

10
PageNumberinteger

页码数。

1
ProjectNamestring

需要进行数据质量校验的引擎或者数据源名称。

autotest
ProjectIdlong

DataWorks 项目空间 ID。

12345

返回参数

名称类型描述示例值
object

校验结果

HttpStatusCodeinteger

HTTP 状态码。

200
ErrorMessagestring

错误信息。

You have no permission.
RequestIdstring

请求 ID。

CBA58543-00D4-41****
ErrorCodestring

错误码。

401
Successboolean

请求是否成功。

true
Dataobject

校验结果的顶层结构体。

PageNumberinteger

页码数。

1
PageSizeinteger

每页显示的条数,默认为 10 条,最大 100 条。

10
TotalCountlong

数据的总记录数。

200
RuleChecksarray<object>

校验结果的列表。

RuleChecksobject

校验结果

BlockTypeinteger

校验规则的强弱。强弱表示规则的重要程度。取值如下:

  • 1,表示强规则。
  • 0,表示弱规则。 您可以根据实际需求设置重要的规则为强规则。如果使用强规则并触发了红色告警,则会阻塞调度任务。
1
WarningThresholdfloat

橙色阈值。表示与样本预期的偏离程度,您可以根据业务需求自定义该阈值。

0.1
Propertystring

规则属性的字段,即被校验数据源表的 column 名称。

type
TableNamestring

进行校验的表名称。

dual
Commentstring

校验规则的描述。

规则的描述信息。
CheckResultStatusinteger

校验结果状态。

2
TemplateNamestring

使用的校验模板的名称。

字段唯一值个数期望值校验
CheckerNamestring

校验器的名称。

fulx
RuleIdlong

规则 ID。

123421
FixedCheckboolean

是否为固定值校验。取值如下:

  • true:是固定值校验。
  • false:非固定值校验。
false
Opstring

比较符。

>
UpperValuefloat

预测上限。设置阈值后自动生成。

22200
ActualExpressionstring

被校验的数据源表的实际分区。

ds=20200925
ExternalIdstring

调度任务的节点 ID。

123112232
TimeCoststring

执行校验任务花费的时间。

10
Trendstring

校验结果的趋势。

up
ExternalTypestring

调度系统的类型。目前仅支持 CWF。

CWF2
BizDatelong

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000
CheckResultinteger

校验结果。

2
ResultStringstring

校验结果的字符串形式。

ResultString
MatchExpressionstring

分区表达式。

ds=$[yyyymmdd]
CheckerTypeinteger

校验器的类型。

0
ProjectNamestring

需要进行数据质量校验的引擎或者数据源名称。

autotest
BeginTimelong

执行校验操作的开始时间。

1600704000000
DateTypestring

调度周期的类型。通常为 YMD,即年任务、月任务、天任务。

YMD
CriticalThresholdfloat

红色阈值。表示与样本预期的偏离程度。您可以根据业务需求自定义该阈值。使用强规则并触发红色阈值,会阻塞调度任务。

0.6
IsPredictionboolean

是否为预测的结果。取值如下:

  • true:是预测的结果。
  • false:不是预测的结果。
false
RuleNamestring

规则的名称。

规则的名称。
CheckerIdinteger

校验器的 ID。

7
DiscreteCheckboolean

是否为离散校验。取值如下:

  • true:是离散校验。
  • false:非离散校验。
true
EndTimelong

查询校验结果的截止时间。

1600704000000
MethodNamestring

采集样本数据的方法。包括 avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct 等。

max
LowerValuefloat

预测下限。根据您设置的阈值自动生成。

2344
EntityIdlong

分区表达式 ID。

14534343
WhereConditionstring

校验任务使用的过滤条件。

type!='type2'
ExpectValuefloat

期望值。

90
TemplateIdinteger

使用的校验模板的 ID。

5
TaskIdstring

校验任务的 ID。

16008552981681a0d6****
Idlong

主键 ID。

2231123
ReferenceValuearray<object>

历史样本值。

ReferenceValueobject

校验结果

DiscretePropertystring

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

type1
Valuefloat

样本值。

20
BizDatestring

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000
SingleCheckResultinteger

校验结果的字符串。

2
Thresholdfloat

阈值。

0.2
SampleValuearray<object>

当前使用的样本。

SampleValueobject

校验结果

DiscretePropertystring

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

type2
BizDatestring

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000
Valuefloat

样本值。

23
Openboolean

规则是否开启。

true

示例

正常返回示例

JSON格式

{
  "HttpStatusCode": 200,
  "ErrorMessage": "You have no permission.",
  "RequestId": "CBA58543-00D4-41****",
  "ErrorCode": "401",
  "Success": true,
  "Data": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 200,
    "RuleChecks": [
      {
        "BlockType": 1,
        "WarningThreshold": 0.1,
        "Property": "type",
        "TableName": "dual",
        "Comment": "规则的描述信息。",
        "CheckResultStatus": 2,
        "TemplateName": "字段唯一值个数期望值校验",
        "CheckerName": "fulx",
        "RuleId": 123421,
        "FixedCheck": false,
        "Op": ">",
        "UpperValue": 22200,
        "ActualExpression": "ds=20200925",
        "ExternalId": "123112232",
        "TimeCost": "10",
        "Trend": "up",
        "ExternalType": "CWF2",
        "BizDate": 1600704000000,
        "CheckResult": 2,
        "ResultString": "ResultString",
        "MatchExpression": "ds=$[yyyymmdd]",
        "CheckerType": 0,
        "ProjectName": "autotest",
        "BeginTime": 1600704000000,
        "DateType": "YMD",
        "CriticalThreshold": 0.6,
        "IsPrediction": false,
        "RuleName": "规则的名称。",
        "CheckerId": 7,
        "DiscreteCheck": true,
        "EndTime": 1600704000000,
        "MethodName": "max",
        "LowerValue": 2344,
        "EntityId": 14534343,
        "WhereCondition": "type!='type2'",
        "ExpectValue": 90,
        "TemplateId": 5,
        "TaskId": "16008552981681a0d6****",
        "Id": 2231123,
        "ReferenceValue": [
          {
            "DiscreteProperty": "type1",
            "Value": 20,
            "BizDate": "1600704000000",
            "SingleCheckResult": 2,
            "Threshold": 0.2
          }
        ],
        "SampleValue": [
          {
            "DiscreteProperty": "type2",
            "BizDate": "1600704000000",
            "Value": 23
          }
        ],
        "Open": true
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
2024-05-10API 内部配置变更,不影响调用查看变更详情
2023-03-08OpenAPI 入参发生变更查看变更详情