创建数据集成新版任务,当前支持的任务类型包括:MySQL到Hologres整库实时解决方案。
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
请求参数
名称 | 类型 | 必填 | 描述 | 示例值 |
---|---|---|---|---|
ProjectId | long | 否 | DataWorks 工作空间 ID。您可以通过 ListProjects 接口获取工作空间 ID。 | 10000 |
JobName | string | 否 | 任务名称。 | mysql_to_holo_sync_8772 |
Description | string | 否 | 任务描述。 | mysql同步到hologres |
MigrationType | string | 否 | 同步类型,可选的枚举值有:
| FullAndRealtimeIncremental |
SourceDataSourceType | string | 否 | 源端数据源类型,枚举值:MySQL。 | MySQL |
DestinationDataSourceType | string | 否 | 目标端数据源类型,枚举值:Hologres、Hive。 | Hologres |
SourceDataSourceSettings | array<object> | 否 | 源端数据源设置,目前仅支持单个数据源。 | |
object | 否 | 源端数据源设置。 | ||
DataSourceName | string | 否 | 数据源名称。 | mysql_datasource_1 |
DataSourceProperties | object | 否 | 数据源属性。 | |
string | 否 | 源端数据源属性。MySQL 数据源支持的属性名称包括:TimeZone(时区),Encoding(编码)。 | TimeZone | |
DestinationDataSourceSettings | array<object> | 否 | 目标端数据源设置,目前仅支持单个数据源。 | |
object | 否 | 目标端数据源设置。 | ||
DataSourceName | string | 否 | 数据源名称。 | holo_datasource_1 |
DataSourceProperties | object | 否 | 数据源属性。 | |
string | 否 | 目标端数据源属性。Hologres 数据源暂无属性可设置。 | TimeZone | |
ResourceSettings | object | 否 | 资源设置。 | |
OfflineResourceSettings | object | 否 | 离线同步资源。 | |
ResourceGroupIdentifier | string | 否 | 离线同步使用的数据集成资源组标识。 | S_res_group_111_222 |
RealtimeResourceSettings | object | 否 | 实时同步资源。 | |
ResourceGroupIdentifier | string | 否 | 实时同步使用的数据集成资源组标识。 | S_res_group_111_222 |
TransformationRules | array<object> | 否 | 同步对象转换规则定义列表,列表中每个元素为一条转换规则定义。 | |
object | 否 | 同步对象转换规则定义。 | ||
RuleName | string | 否 | 规则名称,当动作类型和动作作用的目标类型相同时,规则名称需保证唯一性。 | rename_rule_1 |
RuleActionType | string | 否 | 动作类型,可选的枚举值:
| Rename |
RuleTargetType | string | 否 | 动作作用的目标类型,可选的枚举值:
| Table |
RuleExpression | string | 否 | 规则表达式,json string 格式。 重命名规则(Rename)示例: {"expression":"${srcDatasourceName}_${srcDatabaseName}_0922","variables":[{"variableName":"srcDatabaseName","variableRules":[{"from":"fromdb","to":"todb"}]}]}
在目标端增加指定列并赋值规则(AddColumn)示例: {"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}
指定目标端表的主键列列名(DefinePrimaryKey)示例: {"columns":["ukcolumn1","ukcolumn2"]}
DML 处理规则(HandleDml)示例: {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}
| {"expression":"${srcDatasoureName}_${srcDatabaseName}"} |
TableMappings | array<object> | 否 | 同步对象转换映射列表,列表中每个元素描述了一组源端同步对象选择规则列表和在该组同步对象上应用的同步对象转换规则列表。 | |
object | 否 | 同步对象转换映射。 | ||
SourceObjectSelectionRules | array<object> | 否 | 源端对象选择规则,支持多条。 | |
object | 否 | 每条规则可选择待同步源端对象的不同对象类型,如选择源端数据库、源端数据表。 | ||
ObjectType | string | 否 | 对象类型,可选的枚举值:
| Table |
Expression | string | 否 | 表达式。 | mysql_table_1 |
TransformationRules | array<object> | 否 | 源端对象上应用的转换规则列表。 | |
object | 否 | 源端对象上应用的转换规则。 | ||
RuleName | string | 否 | 规则名称,在一种动作类型+动作作用的目标类型下规则名称唯一。 | rename_rule_1 |
RuleActionType | string | 否 | 动作类型,可选的枚举值:
| Rename |
RuleTargetType | string | 否 | 动作作用的目标类型,可选的枚举值:
| Table |
JobSettings | object | 否 | 同步任务维度的设置,含 DDL 处理策略、源端和目标端列数据类型映射策略、任务运行时参数等。 | |
DdlHandlingSettings | array<object> | 否 | DDL 处理设置。 | |
object | 否 | DDL 处理设置。 | ||
Type | string | 否 | DDL 类型,可选的枚举值:
| AddColumn |
Action | string | 否 | 处理动作,可选的枚举值:
| Critical |
ColumnDataTypeSettings | array<object> | 否 | 列类型映射,多值。 | |
object | 否 | 列类型映射。 | ||
SourceDataType | string | 否 | 源端类型。 | bigint |
DestinationDataType | string | 否 | 目标端类型。 | text |
RuntimeSettings | array<object> | 否 | 运行时设置,多值。 | |
object | 否 | 运行时设置。 | ||
Name | string | 否 | 设置名称,可选的枚举值:
| runtime.offline.concurrent |
Value | string | 否 | 设置取值。 | 1 |
CycleScheduleSettings | object | 否 | 周期调度设置。 | |
CycleMigrationType | string | 否 | 需要周期调度的同步类型。取值范围:
| Full |
ScheduleParameters | string | 否 | 调度参数。 | bizdate=$bizdate |
ChannelSettings | string | 否 | 通道相关任务设置,Json String 形式。 | {"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""} |
ImportRuleSettings | object | 否 | 同步任务导入设置。 | |
Source | string | 否 | 任务配置导入来源。取值范围: Datastudio:数据开发中的同步任务 | Datastudio |
FileId | string | 否 | 待导入任务 ID。 | 10000 |
SystemDebug | string | 否 | 系统调试使用,默认 false。 | false |
返回参数
示例
正常返回示例
JSON
格式
{
"RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB",
"DIJobId": 11792
}
错误码
HTTP status code | 错误码 | 错误信息 | 描述 |
---|---|---|---|
429 | Throttling.Api | The request for this resource has exceeded your available limit. | 对该资源的请求已超过您的可用上限。 |
429 | Throttling.System | The DataWorks system is busy. Try again later. | DataWorks系统繁忙,请稍后再试。 |
429 | Throttling.User | Your request is too frequent. Try again later. | 您的请求过于频繁,请尝试放缓请求速度。 |
500 | InternalError.System | An internal system error occurred. Try again later. | 系统内部错误,请稍后再试。 |
500 | InternalError.UserId.Missing | An internal system error occurred. Try again later. | 系统内部错误,请稍后再试。 |
访问错误中心查看更多错误码。
变更历史
变更时间 | 变更内容概要 | 操作 |
---|---|---|
2024-06-04 | OpenAPI 错误码发生变更 | 查看变更详情 |
2024-02-28 | OpenAPI 错误码发生变更 | 查看变更详情 |
2024-01-18 | OpenAPI 错误码发生变更 | 查看变更详情 |