全部产品
Search
文档中心

大数据开发治理平台 DataWorks:ListQualityResultsByEntity - 根据分区表达式查询校验历史结果

更新时间:Nov 15, 2024

调用ListQualityResultsByEntity,根据分区表达式查询历史校验结果。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
EntityIdlong

分区表达式 ID。您可以调用 GetQualityEntity 获取分区表达式 ID。

152322134
StartDatestring

业务日期起始时间,格式为 yyyy-MM-dd HH:mm:ss。

2020-09-20 00:00:00
EndDatestring

业务日期截止时间,格式为 yyyy-MM-dd HH:mm:ss。

2020-09-21 00:00:00
PageSizeinteger

每页显示的条数,默认为 10 条,最大 20 条。

10
PageNumberinteger

页码数。

1
ProjectNamestring

引擎或者数据源的名称。您可以从数据源配置中获取名称。

autotest
ProjectIdlong

DataWorks 项目空间 ID。

12345

返回参数

名称类型描述示例值
object

校验结果

HttpStatusCodeinteger

HTTP 状态码。

200
ErrorMessagestring

错误信息。

You have no permission.
RequestIdstring

请求 ID。

CBA58543-00D4-41****
Successboolean

请求是否成功。

true
ErrorCodestring

错误码。

401
Dataobject

校验结果的顶层结构体。

PageNumberinteger

页码数。

1
PageSizeinteger

每页显示的条数,默认为 10 条,最大 100 条。

10
TotalCountlong

数据的总记录数。

50
RuleChecksarray<object>

校验结果的列表。

RuleChecksobject

校验结果

BlockTypeinteger

校验规则的强弱。强弱表示规则的重要程度。取值如下:

  • 1,表示强规则。
  • 0,表示弱规则。 您可以根据实际需求设置重要的规则为强规则。如果使用强规则并触发了红色告警,则会阻塞调度任务。
0
WarningThresholdfloat

橙色阈值。表示与样本预期的偏离程度,您可以根据业务需求自定义该阈值。

0.1
Propertystring

规则属性的字段,即被校验数据源表的 column 名称。

type
TableNamestring

进行校验的表名称。

dual
Commentstring

校验规则的描述。

规则的描述信息。
CheckResultStatusinteger

校验结果状态参数与产品界面中的状态信息一致,取值有以下几种:

  • 0:正常
  • 1:橙色告警
  • 2:红色告警
0
TemplateNamestring

使用的校验模板的名称。

字段唯一值个数期望值校验
CheckerNamestring

校验器的名称。

fulx
RuleIdlong

规则 ID。

123123232
FixedCheckboolean

是否为固定值校验。取值如下:

  • true:是固定值校验。
  • false:非固定值校验。
false
Opstring

比较符。

>
UpperValuefloat

预测上限。设置阈值后自动生成。

25555
ActualExpressionstring

被校验的数据源表的实际分区。

ds=20200912
ExternalIdstring

调度任务的节点 ID。

1112323123
TimeCoststring

执行校验任务花费的时间,单位为秒。

202
Trendstring

校验结果的趋势。

abs
ExternalTypestring

调度系统的类型。目前仅支持 CWF。

CWF2
BizDatelong

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

1600704000000
CheckResultinteger

校验结果参数的结果通常与 CheckResultStatus 一致,取值有以下几种:

  • 0:正常
  • 1:橙色告警
  • 2:红色告警
0
ResultStringstring

校验结果的字符串形式。

test
MatchExpressionstring

分区表达式。

ds=$[yyyymmdd]
CheckerTypeinteger

校验类型。取值如下:

  • 0,固定值
  • 1,波动校验
  • 2,动态阈值
1
ProjectNamestring

需要进行数据质量校验的引擎或者数据源名称。

autotest
BeginTimelong

执行校验操作的开始时间。

1600704000000
DateTypestring

调度周期的类型。通常为 YMD,即年任务、月任务、天任务。

YMD
CriticalThresholdfloat

红色阈值。表示与样本预期的偏离程度。您可以根据业务需求自定义该阈值。使用强规则并触发红色阈值,会阻塞调度任务。

0.5
IsPredictionboolean

是否为预测的结果。取值如下:

  • true:是预测的结果。
  • false:不是预测的结果。
true
RuleNamestring

规则的名称。

规则的名称。
CheckerIdinteger

校验器的 ID。

7
DiscreteCheckboolean

是否为离散校验。取值如下:

  • true:是离散校验。
  • false:非离散校验。
true
EndTimelong

查询校验结果的截止时间。

1600704000000
MethodNamestring

采集样本数据的方法。包括 avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct 等。

count_distinct
LowerValuefloat

预测结果的下限。根据您设置的阈值自动生成。

2344
EntityIdlong

分区表达式 ID。

15432322
WhereConditionstring

校验任务使用的规则过滤条件。

id>0
ExpectValuefloat

期望值。

200
TemplateIdinteger

使用的校验模板的 ID。

5
TaskIdstring

校验任务的 ID。

16008552981681a0d6****
Idlong

主键 ID。

121212121
ReferenceValuearray<object>

历史样本值。

ReferenceValueobject

校验结果

DiscretePropertystring

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

0
Valuefloat

校验值。

19
BizDatestring

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

2020-12-03
SingleCheckResultinteger

校验结果。

0
Thresholdfloat

阈值。

0.5
SampleValuearray<object>

当前使用的样本。

SampleValueobject

校验结果

DiscretePropertystring

通过 group by 分组后的样本字段取值。例如 group by 性别字段,则 DiscreteProperty 为男生、女生和 null。

0
BizDatestring

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

2020-12-03
Valuefloat

当前样本值。

19

示例

正常返回示例

JSON格式

{
  "HttpStatusCode": 200,
  "ErrorMessage": "You have no permission.",
  "RequestId": "CBA58543-00D4-41****",
  "Success": true,
  "ErrorCode": "401",
  "Data": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 50,
    "RuleChecks": [
      {
        "BlockType": 0,
        "WarningThreshold": 0.1,
        "Property": "type",
        "TableName": "dual",
        "Comment": "规则的描述信息。",
        "CheckResultStatus": 0,
        "TemplateName": "字段唯一值个数期望值校验",
        "CheckerName": "fulx",
        "RuleId": 123123232,
        "FixedCheck": false,
        "Op": ">",
        "UpperValue": 25555,
        "ActualExpression": "ds=20200912",
        "ExternalId": "1112323123",
        "TimeCost": "202",
        "Trend": "abs",
        "ExternalType": "CWF2",
        "BizDate": 1600704000000,
        "CheckResult": 0,
        "ResultString": "test",
        "MatchExpression": "ds=$[yyyymmdd]",
        "CheckerType": 1,
        "ProjectName": "autotest",
        "BeginTime": 1600704000000,
        "DateType": "YMD",
        "CriticalThreshold": 0.5,
        "IsPrediction": true,
        "RuleName": "规则的名称。",
        "CheckerId": 7,
        "DiscreteCheck": true,
        "EndTime": 1600704000000,
        "MethodName": "count_distinct",
        "LowerValue": 2344,
        "EntityId": 15432322,
        "WhereCondition": "id>0",
        "ExpectValue": 200,
        "TemplateId": 5,
        "TaskId": "16008552981681a0d6****",
        "Id": 121212121,
        "ReferenceValue": [
          {
            "DiscreteProperty": "0",
            "Value": 19,
            "BizDate": "2020-12-03",
            "SingleCheckResult": 0,
            "Threshold": 0.5
          }
        ],
        "SampleValue": [
          {
            "DiscreteProperty": "0",
            "BizDate": "2020-12-03",
            "Value": 19
          }
        ]
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
2024-01-22OpenAPI 返回结构发生变更查看变更详情
2023-03-08OpenAPI 入参发生变更查看变更详情