全部产品
Search

搜索本产品

    大数据开发治理平台 DataWorks：CreateDataQualityRule - 创建质量规则

    文档中心

    大数据开发治理平台 DataWorks：CreateDataQualityRule - 创建质量规则

    更新时间：Dec 10, 2024

    创建质量规则

    接口说明

    需要购买 DataWorks 基础版及以上版本才能使用

    调试

    您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

    授权信息

    当前API暂无授权信息透出。

    请求参数

    名称类型必填描述示例值
    Namestring是

    规则名称

    		表不能为空
    ProjectIdlong是

    DataWorks 工作空间 ID

    		10726
    Enabledboolean否

    质量规则是否启用

    		true
    Severitystring否

    规则对于业务的等级（对应页面上的强弱规则），可选的枚举值：

    • Normal
    • High
    		Normal
    Descriptionstring否

    规则描述信息，最长 500 个字符

    		this is a odps _sql task
    Targetobject否

    规则所监控的对象

    Typestring否

    监控对象类型

    • Table
    		Table
    DatabaseTypestring否

    表类型的数据集，表所属的数据库类型

    • maxcompute
    • emr
    • cdh
    • hologres
    • analyticdb_for_postgresql
    • analyticdb_for_mysql
    • starrocks
    		maxcompute
    TableGuidstring是

    规则所作用的表在数据地图中的唯一 ID

    		odps.unit_test.tb_unit_test
    PartitionSpecstring否

    分区表的分区设置

    		ds=$[yyyymmdd-1]
    TemplateCodestring否

    规则所引用的规则模板唯一标识

    		system::user_defined
    SamplingConfigobject否

    样本采集所需的设置

    Metricstring否

    采样的指标名称，使用模版时可不设置

    • Count：表行数
    • Min：字段最小值
    • Max：字段最大值
    • Avg：字段均值
    • DistinctCount：字段唯一值个数
    • DistinctPercent：字段唯一值个数与数据行数占比
    • DuplicatedCount：字段重复值个数
    • DuplicatedPercent：字段重复值个数与数据行数占比
    • TableSize：表大小
    • NullValueCount：字段为空的行数
    • NullValuePercent：字段为空的比例
    • GroupCount：按字段值聚合后每个值与对应的数据行数
    • CountNotIn：枚举值不匹配行数
    • CountDistinctNotIn：枚举值不匹配唯一值个数
    • UserDefinedSql：通过自定义 SQL 做样本采集
    		Count
    MetricParametersstring否

    样本采集时，所需的参数

    		{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
    SettingConfigstring否

    具体执行采样语句前，插入执行的一些运行时参数设置语句，最长 1000 个字符。目前只支持 MaxCompute

    		SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;
    SamplingFilterstring否

    采样时，对不关注的数据进行二次过滤的条件，最多 16777215 个字符

    		id IS NULL
    CheckingConfigobject否

    样本校验设置

    Typestring否

    阈值计算方式，使用模版时可不设置

    • Fixed
    • Fluctation
    • FluctationDiscreate
    • Auto
    • Average
    • Variance
    		Fixed
    ReferencedSamplesFilterstring否

    有些类型的阈值需要查询出一些参考样本，然后对参考样本的值进行汇总得出进行比较的阈值，这里使用一个表达式来表示参考样本的查询方式

    		{ "bizdate": [ "-1", "-7", "-1m" ] }
    Thresholdsobject否

    阈值设置

    Expectedobject否

    期望的阈值设置

    Operatorstring否

    比较符

    • >
    • >=
    • <
    • <=
    • !=
    • =
    		>
    Valuestring否

    阈值数值

    		100.0
    Expressionstring否

    阈值表达式。

    波动率类型规则必须使用表达式方式表示波动阈值。如：

    • 波动上升大于 0.01： $checkValue > 0.01
    • 波动下降大于 0.01：$checkValue < -0.01
    • 波动率绝对值：abs($checkValue) > 0.01

    固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value

    		$checkValue <= 0.01
    Warnedobject否

    普通警告的阈值设置

    Operatorstring否

    比较符

    • >
    • >=
    • <
    • <=
    • !=
    • =
    		>
    Valuestring否

    阈值数值

    		100.0
    Expressionstring否

    阈值表达式。

    波动率类型规则必须使用表达式方式表示波动阈值。如：

    • 波动上升大于 0.01： $checkValue > 0.01
    • 波动下降大于 0.01：$checkValue < -0.01
    • 波动率绝对值：abs($checkValue) > 0.01

    固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value

    		$checkValue > 0.01
    Criticalobject否

    严重警告的阈值设置

    Operatorstring否

    比较符

    • >
    • >=
    • <
    • <=
    • !=
    • =
    		>
    Valuestring否

    阈值数值

    		100.0
    Expressionstring否

    阈值表达式。

    波动率类型规则必须使用表达式方式表示波动阈值。如：

    • 波动上升大于 0.01： $checkValue > 0.01
    • 波动下降大于 0.01：$checkValue < -0.01
    • 波动率绝对值：abs($checkValue) > 0.01

    固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value

    		$checkValue > 0.05
    ErrorHandlersarray<object>否

    质量规则校验问题处理器列表

    object否

    质量规则校验问题处理器

    Typestring否

    处理器类型：

    • SaveErrorData
    		SaveErrorData
    ErrorDataFilterstring否

    如果是自定义 SQL 规则，需要用户指定 SQL 来过滤问题数据

    		SELECT * FROM tb_api_log WHERE id IS NULL

    返回参数

    名称类型描述示例值
    object

    返回值

    RequestIdstring

    API 请求 ID

    		691CA452-D37A-4ED0-9441
    Idlong

    规则 ID。

    		19715

    示例

    正常返回示例

    JSON格式

    {
  "RequestId": "691CA452-D37A-4ED0-9441\n",
  "Id": 19715
}

    错误码

    访问错误中心查看更多错误码。

    规则模版 Code 列表：

    • 自定义 SQL：SYSTEM:user_defined_sql

    • 表行数大于 0：SYSTEM:table:table_count:fixed:0

    • 表行数，固定值：SYSTEM:table:table_count:fixed

    • 表行数，1 天差值：SYSTEM:table:table_count_delta:fixed:1_bizdate

    • 表行数，上周期差值：SYSTEM:table:table_count_delta:fixed:latest_bizdate

    • 表行数，上周期波动率：SYSTEM:table:table_count:cycle:latest_bizdate

    • 表行数，7 天平均值波动率：SYSTEM:table:table_count:avg:7_bizdate

    • 表行数，30 天平均值波动率：SYSTEM:table:table_count:avg:1m_bizdate

    • 表行数，1 天波动率：SYSTEM:table:table_count:flux:1_bizdate

    • 表行数，7 天波动率：SYSTEM:table:table_count:flux:7_bizdate

    • 表行数，30 天波动率：SYSTEM:table:table_count:flux:1m_bizdate

    • 表行数，1，7，30 天波动率：SYSTEM:table:table_count:flux:1_7_1m_bizdate

    • 表行数，1，7，30 天，本月 1 号，波动率：SYSTEM:table:table_count:flux:1_7_1m_1st_bizdate

    • 表行数，自定义范围：SYSTEM:table:count

    • 条件匹配占比，自定义范围：SYSTEM:table:count_percent

    • 平均值，1 天波动率：SYSTEM:field:avg:cycle:1_bizdate

    • 平均值，1、7、30 天波动率：SYSTEM:field:avg:flux:1_7_1m_bizdate

    • 平均值，自定义范围：SYSTEM:field:avg

    • 汇总值，1 天波动率：SYSTEM:field:sum:cycle:1_bizdate

    • 汇总值，上周期波动率：SYSTEM:field:sum:cycle:latest_bizdate

    • 汇总值，1、7、30 天波动率：SYSTEM:field:sum:flux:1_7_1m_bizdate

    • 汇总值，自定义范围：SYSTEM:field:sum

    • 最小值，1 天波动率：SYSTEM:field:min:cycle:1_bizdate

    • 最小值，上周期波动率：SYSTEM:field:min:cycle:latest_bizdate

    • 最小值，1、7、30 天波动率：SYSTEM:field:min:flux:1_7_1m_bizdate

    • 最小值，自定义范围：SYSTEM:field:min

    • 最大值，1 天波动率：SYSTEM:field:max:cycle:1_bizdate

    • 最大值，上周期波动率：SYSTEM:field:max:cycle:latest_bizdate

    • 最大值，1、7、30 天波动率：SYSTEM:field:max:flux:1_7_1m_bizdate

    • 最大值，自定义范围：SYSTEM:field:max

    • 空值记录数为 0：SYSTEM:field:null_value:fixed:0

    • 空值个数，固定值：SYSTEM:field:null_value:fixed

    • 空值个数/总行数，固定值：SYSTEM:field:null_value_percent:fixed

    • 字段重复值为 0：SYSTEM:field:duplicated_count:fixed:0

    • 重复值个数/总行数，固定值：SYSTEM:field:duplicated_percent:fixed

    • 重复值个数，固定值：YSTEM:field:duplicated_count:fixed

    • 多字段重复值为 0：SYSTEM:fields:duplicated_count:fixed:0

    • 离散值（状态值），固定值：SYSTEM:field:all_discrete_count:fixed

    • 离散值（分组个数及状态值），1、7、30 天波动率：SYSTEM:field:all_discrete_metrics:fluxdiscrete:1_7_1m_bizdate

    • 离散值（分组个数），固定值：SYSTEM:field:discrete_group_count:fixed

    • 离散值（分组个数），1 天波动率：SYSTEM:field:discrete_group_count:cycle:latest_bizdate

    • 表大小，固定值：SYSTEM:table:table_size:fixed

    • 表大小，上周期差值：SYSTEM:table:table_size_delta:fixed:latest_bizdate

    • 表大小，相比 1 天前差值(字节)：SYSTEM:table:table_size_delta:fixed:1_bizdate

    • 表大小，1 天波动率：SYSTEM:table:table_size:flux:1_bizdate

    • 表大小，7 天波动率：SYSTEM:table:table_size:flux:7_bizdate

    • 表大小，30 天波动率：SYSTEM:table:table_size:flux:1m_bizdate

    • 唯一值个数，固定值：SYSTEM:field:count_distinct:fixed

    • 唯一值个数，1、7、30 天波动率：SYSTEM:field:count_distinct:flux:1_7_1m_bizdate

    • 唯一值个数/总行数，固定值：SYSTEM:field:count_distinct_percent:fixed

    • 表行数，动态阈值：SYSTEM:table:table_count:dynamic_threshold

    • 汇总值，动态阈值：SYSTEM:field:sum:dynamic_threshold

    • 平均值，动态阈值：SYSTEM:field:avg:dynamic_threshold

    • 最大值，动态阈值：SYSTEM:field:max:dynamic_threshold

    • 最小值，动态阈值：SYSTEM:field:min:dynamic_threshold

    • 唯一值率动态阈值：SYSTEM:table:table_size:dynamic_threshold

    • 唯一值个数，动态阈值：SYSTEM:table:distinct_count:dynamic_threshold

    • 离散值（分组个数），动态阈值：SYSTEM:field:avg:dynamic_threshold

    • 离散值（状态值），动态阈值：SYSTEM:field:sum:dynamic_threshold

    • 离散值（分组个数），动态阈值：SYSTEM:field:discrete_group_count:dynamic_threshold

    • 离散值（状态值），动态阈值：SYSTEM:field:discrete_value_count:dynamic_threshold