GetDIJob - 查看数据集成新版任务 - 大数据开发治理平台 DataWorks

查看数据集成新版任务，当前支持的任务类型包括：MySQL到Hologres整库实时解决方案。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用背景高亮的方式表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作	访问级别	资源类型	条件关键字	关联操作
dataworks:*	get	全部资源 ``	无	无

请求参数

名称	类型	必填	描述	示例值
DIJobId	long	是	任务 ID。	11588
WithDetails	boolean	否	是否返回详细配置信息，详细配置信息包括 TransformationRules、TableMappings、JobSettings。默认返回。	true

返回参数

名称	类型	描述	示例值
	object	响应。
Data	object	任务信息。
ProjectId	long	工作空间的 ID。	22
DIJobId	long	任务 ID。	11588
JobName	string	任务名称。	mysql_to_holo_sync_445
Description	string	描述信息。	mysql同步到hologres
MigrationType	string	同步类型，可选的枚举值有： FullAndRealtimeIncremental（全量和实时增量） RealtimeIncremental（实时增量） Full（全量） OfflineIncremental（离线增量） FullAndOfflineIncremental（全量+离线增量）	FullAndRealtimeIncremental
SourceDataSourceType	string	源端数据源类型，枚举值：MySQL。	MySQL
DestinationDataSourceType	string	目标端数据源类型，枚举值：Hologres、Hive。	Hologres
SourceDataSourceSettings	array<object>	源端数据源设置，目前仅支持单个数据源。
SourceDataSourceSetting	object	源端数据源设置。
DataSourceName	string	数据源名称。	mysql_datasource_1
DataSourceProperties	object	数据源属性。
	string	源端数据源属性。 MySQL 数据源支持的属性名称包括：TimeZone（时区），Encoding（编码）。	TimeZone
DestinationDataSourceSettings	array<object>	目标端数据源设置，目前仅支持单个数据源。
DestinationDataSourceSetting	object	目标端数据源设置。
DataSourceName	string	数据源名称。	holo_datasource_1
DataSourceProperties	object	数据源属性。
	string	目标端数据源属性。Hologres 数据源暂无属性可设置。	TimeZone
ResourceSettings	object	资源设置。
OfflineResourceSettings	object	离线同步资源。
ResourceGroupIdentifier	string	离线同步使用的数据集成资源组标识。	S_res_group_111_222
RealtimeResourceSettings	object	实时同步资源。
ResourceGroupIdentifier	string	实时同步使用的数据集成资源组标识。	S_res_group_111_222
TransformationRules	array<object>	同步对象转换规则定义列表，列表中每个元素为一条转换规则定义。
TransformationRule	object	同步对象转换规则定义。
RuleActionType	string	动作类型，可选的枚举值： DefinePrimaryKey（定义主键） Rename（重命名） AddColumn（增加列） HandleDml（DML 处理） DefineIncrementalCondition（定义增量条件） DefineCycleScheduleSettings（定义周期调度设置） DefineRuntimeSettings（定义高级配置参数） DefinePartitionKey（定义分区列）	Rename
RuleExpression	string	规则表达式，json string 格式。重命名规则（Rename）示例： `{"expression":"${srcDatasourceName}_${srcDatabaseName}_0922","variables":\[{"variableName":"srcDatabaseName","variableRules":\[{"from":"fromdb","to":"todb"}\]}\]}` expression：为重命名转换规则表达式，表达式内支持变量包括： ${srcDatasourceName}（源端数据源名） ${srcDatabaseName}（源端库名） ${srcTableName}（源端表名） variables：为重命名转换规则表达式中各变量的生成规则，参数默认值为对应含义在源端的原始值，可按需定义一组字符串替换规则对原始值进行改写。 variableName：变量名，不含${}。 variableRules：变量生成规则组，按顺序串行执行替换，from 原始字符串；to 替换后字符串。在目标端增加指定列并赋值规则（AddColumn）示例： `{"columns":\[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}\]}` 如不指定，默认规则为不加列不复制。 columnName：附加的列名称。 columnValueType：附加的列取值类型，包括 Constant（常量）、Variable（变量）。 columnValue：附加的列取值。当 valueType=Constant 时，value 为自定义常量，String 类型。当 valueType=Variable 时，value 为内置变量。内置变量可选值包括：EXECUTE_TIME（执行时间，Long 类型）、DB_NAME_SRC（源端数据库名称，String 类型）、DATASOURCE_NAME_SRC（源端数据源名称，String 类型）、TABLE_NAME_SRC（源端表名，String 类型）、DB_NAME_DEST（目标端数据库名称，String 类型）、DATASOURCE_NAME_DEST（目标端数据源名称，String 类型）、TABLE_NAME_DEST（目标端表名，String 类型）、DB_NAME_SRC_TRANSED（转换后的数据库名称，String 类型）。指定目标端表的主键列列名（DefinePrimaryKey）示例： `{"columns":\["ukcolumn1","ukcolumn2"\]}` 如不指定默认使用源端主键列。当目标端为已有表：数据集成系统不会修改目标端表结构，如果指定的主键列不在目标端的列集合中，任务启动会报错提示。当目标端为自动建表：数据集成系统会自动创建目标端表结构，表结构包含定义的主键列。当指定的主键列不在目标端的列集合中时，任务启动会报错提示。 DML 处理规则（HandleDml）示例： `{"dmlPolicies":\[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}\]}` 如不指定，默认规则为 Insert、Update、Delete 均为 Normal。 dmlType：DML 操作类型，Insert（插入）、Update（更新）、Delete（删除）。 dmlAction：DML 处理策略，Normal（正常处理）、Ignore（忽略）、Filter（有条件的正常处理，当 dmlType=Update/Delete 时使用）、LogicalDelete（逻辑删除）。 filterCondition：DML 过滤条件，当 dmlAction=Filter 时使用。	{"expression":"${srcDatasoureName}_${srcDatabaseName}"}
RuleName	string	规则名称，当动作类型和动作作用的目标类型相同时，规则名称需保证唯一性。	rename_rule_1
RuleTargetType	string	动作作用的目标类型，可选的数据类型有： Table（表） Schema（schema）	Table
TableMappings	array<object>	同步对象转换映射列表，列表中每个元素描述了一组源端同步对象选择规则列表和在该组同步对象上应用的同步对象转换规则列表。
TableMapping	object	同步对象转换映射。
SourceObjectSelectionRules	array<object>	源端对象选择规则，支持多条。
SourceObjectSelectionRule	object	每条规则可选择待同步源端对象的不同对象类型，如选择源端数据库、源端数据表。
Expression	string	表达式。	mysql_table_1
ObjectType	string	对象类型，可选的枚举值有： Table（表） Database（数据库）	Table
TransformationRules	array<object>	源端对象上应用的转换规则列表。
TransformationRule	object	源端对象上应用的转换规则。
RuleActionType	string	动作类型，可选的枚举值： DefinePrimaryKey（定义主键） Rename（重命名） AddColumn（增加列） HandleDml（DML 处理） DefineIncrementalCondition（定义增量条件） DefineCycleScheduleSettings（定义周期调度设置） DefineRuntimeSettings（定义高级配置参数） DefinePartitionKey（定义分区列）	Rename
RuleName	string	规则名称，在一种动作类型+动作作用的目标类型下规则名称唯一。	rename_rule_1
RuleTargetType	string	动作作用的目标类型，可选的枚举值有： Table（表） Schema（schema）	Table
JobSettings	object	同步任务维度的设置，含 DDL 处理策略、源端和目标端列数据类型映射策略、任务运行时参数等。
ColumnDataTypeSettings	array<object>	列类型映射，支持多值。
ColumnDataTypeSetting	object	列类型映射。
SourceDataType	string	源端类型。	bigint
DestinationDataType	string	目标端类型。	text
DdlHandlingSettings	array<object>	DDL 处理设置，支持多值。
DdlHandlingSetting	object	DDL 处理设置。
Action	string	处理动作，可选的枚举值： Ignore（忽略） Critical（报错） Normal（正常处理）	Critical
Type	string	DDL 类型，可选的枚举值： RenameColumn（重命名列） ModifyColumn（更新列） CreateTable（新建表） TruncateTable（清空表） DropTable（删除表） DropColumn（删除列） AddColumn（新增列）	AddColumn
RuntimeSettings	array<object>	运行时设置，支持多值。
RuntimeSetting	object	运行时设置。
Name	string	设置名称，可选的枚举值： runtime.offline.speed.limit.mb（离线批量任务限流大小，当 runtime.offline.speed.limit.enable=true 时有效） runtime.offline.speed.limit.enable（离线批量任务是否开启限流） dst.offline.connection.max（离线批量任务写端最大连接数） runtime.offline.concurrent（离线批量同步任务并发度） dst.realtime.connection.max（实时任务写端最大连接数） runtime.enable.auto.create.schema（是否自动在目标端创建 schema） src.offline.datasource.max.connection（离线批量任务源端最大连接数） runtime.realtime.concurrent（实时任务并发度）	runtime.offline.concurrent
Value	string	设置取值。	1
CycleScheduleSettings	object	周期调度设置。
CycleMigrationType	string	需要周期调度的同步类型。取值范围： Full：全量 OfflineIncremental：离线增量	Full
ScheduleParameters	string	调度参数。	bizdate=$bizdate
ChannelSettings	string	通道相关任务设置，Json String 形式。	{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""}
CreatedTime	long	创建时间戳，单位秒。	1671516776
CreatedUid	string	创建者用户 ID。	100000001
UpdatedTime	long	最近一次更新时间戳，单位秒。	1673859985
UpdatedUid	string	最近一次更新者用户 ID。	100000001
StartedTime	long	最近一次启动时间戳，单位秒。	1673859999
StartedUid	string	最近一次启动者用户 ID。	100000001
JobStatus	string	同步状态，可选的枚举值： Finished（运行成功已结束） Initialized（初始化完成） Stopped（已停止） Failed（运行失败） Running（运行中） Stopping（停止中）	Finished
ErrorMessage	string	错误信息，当 JobStatus=Failed 时使用。	error details xxx
RunStats	object	运行统计信息
	string	运行统计信息详情。 StructureMigrationTotalTables：结构同步表总数 StructureMigrationSuccessTables：结构同步表成功数 StructureMigrationFailedTables：结构同步表失败数 StructureMigrationStatus：结构同步状态，Waiting、Running、Finished、Failed、Stopped StructureMigrationErrorMessage：结构同步错误信息 FullMigrationTotalTables：全量同步表总数 FullMigrationSuccessTables：全量同步表成功数 FullMigrationFailedTables：全量同步表失败数 FullMigrationStatus：全量同步状态 FullMigrationErrorMessage：全量同步错误信息 RealtimeMigrationMaxDelay：实时同步延迟时长，单位毫秒 RealtimeMigrationStatus：实时同步状态 RealtimeMigrationErrorMessage：实时已同步错误信息	StructureMigrationTotalTables
RequestId	string	请求 ID。	0000-ABCD-EFG****

示例

正常返回示例

JSON格式

{
  "Data": {
    "ProjectId": 22,
    "DIJobId": 11588,
    "JobName": "mysql_to_holo_sync_445",
    "Description": "mysql同步到hologres",
    "MigrationType": "FullAndRealtimeIncremental",
    "SourceDataSourceType": "MySQL",
    "DestinationDataSourceType": "Hologres",
    "SourceDataSourceSettings": [
      {
        "DataSourceName": "mysql_datasource_1",
        "DataSourceProperties": {
          "key": "TimeZone"
        }
      }
    ],
    "DestinationDataSourceSettings": [
      {
        "DataSourceName": "holo_datasource_1",
        "DataSourceProperties": {
          "key": "TimeZone"
        }
      }
    ],
    "ResourceSettings": {
      "OfflineResourceSettings": {
        "ResourceGroupIdentifier": "S_res_group_111_222"
      },
      "RealtimeResourceSettings": {
        "ResourceGroupIdentifier": "S_res_group_111_222"
      },
      "RequestedCu": 0
    },
    "TransformationRules": [
      {
        "RuleActionType": "Rename",
        "RuleExpression": "{\"expression\":\"${srcDatasoureName}_${srcDatabaseName}\"}",
        "RuleName": "rename_rule_1",
        "RuleTargetType": "Table"
      }
    ],
    "TableMappings": [
      {
        "SourceObjectSelectionRules": [
          {
            "Expression": "mysql_table_1",
            "ObjectType": "Table"
          }
        ],
        "TransformationRules": [
          {
            "RuleActionType": "Rename",
            "RuleName": "rename_rule_1",
            "RuleTargetType": "Table"
          }
        ]
      }
    ],
    "JobSettings": {
      "ColumnDataTypeSettings": [
        {
          "SourceDataType": "bigint",
          "DestinationDataType": "text"
        }
      ],
      "DdlHandlingSettings": [
        {
          "Action": "Critical",
          "Type": "AddColumn"
        }
      ],
      "RuntimeSettings": [
        {
          "Name": "runtime.offline.concurrent",
          "Value": "1"
        }
      ],
      "CycleScheduleSettings": {
        "CycleMigrationType": "Full",
        "ScheduleParameters": "bizdate=$bizdate"
      },
      "ChannelSettings": "{\"structInfo\":\"MANAGED\",\"storageType\":\"TEXTFILE\",\"writeMode\":\"APPEND\",\"partitionColumns\":[{\"columnName\":\"pt\",\"columnType\":\"STRING\",\"comment\":\"\"}],\"fieldDelimiter\":\"\"}\n"
    },
    "CreatedTime": 1671516776,
    "CreatedUid": "100000001",
    "UpdatedTime": 1673859985,
    "UpdatedUid": "100000001",
    "StartedTime": 1673859999,
    "StartedUid": "100000001",
    "JobStatus": "Finished",
    "ErrorMessage": "error details xxx",
    "RunStats": {
      "key": "StructureMigrationTotalTables"
    }
  },
  "RequestId": "0000-ABCD-EFG****"
}

错误码

HTTP status code	错误码	错误信息	描述
429	Throttling.Api	The request for this resource has exceeded your available limit.	对该资源的请求已超过您的可用上限。
429	Throttling.System	The DataWorks system is busy. Try again later.	DataWorks系统繁忙，请稍后再试。
429	Throttling.User	Your request is too frequent. Try again later.	您的请求过于频繁，请尝试放缓请求速度。
500	InternalError.System	An internal system error occurred. Try again later.	系统内部错误，请稍后再试。
500	InternalError.UserId.Missing	An internal system error occurred. Try again later.	系统内部错误，请稍后再试。

访问错误中心查看更多错误码。

变更历史

变更时间	变更内容概要	操作
2024-06-04	OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更	查看变更详情
2024-01-18	OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更	查看变更详情