创建数据集成新版任务。
调试
您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
下表是API对应的授权信息,可以在RAM权限策略语句的Action
元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:
- 操作:是指具体的权限点。
- 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
- 资源类型:是指操作中支持授权的资源类型。具体说明如下:
- 对于必选的资源类型,用背景高亮的方式表示。
- 对于不支持资源级授权的操作,用
全部资源
表示。
- 条件关键字:是指云产品自身定义的条件关键字。
- 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作 | 访问级别 | 资源类型 | 条件关键字 | 关联操作 |
---|---|---|---|---|
dataworks:CreateDIJob | create | *全部资源 * |
| 无 |
请求参数
名称 | 类型 | 必填 | 描述 | 示例值 |
---|---|---|---|---|
DestinationDataSourceType | string | 是 | 目标端数据源类型,枚举值:Hologres、Hive。 | Hologres |
Description | string | 否 | 任务的描述 | 任务描述 |
SourceDataSourceType | string | 是 | 源端数据源类型,枚举值:MySQL。 | MySQL |
ProjectId | long | 否 | DataWorks 工作空间的 ID。您可以登录 DataWorks 控制台,进入工作空间管理页面获取 ID。 该参数用来确定本次 API 调用操作使用的 DataWorks 工作空间。 | 10000 |
JobName | string | 是 | 任务名称。 | mysql_to_holo_sync_8772 |
MigrationType | string | 是 | 同步类型,可选的枚举值有:
| FullAndRealtimeIncremental |
SourceDataSourceSettings | array<object> | 是 | 源端数据源设置列表。 | |
object | 是 | 单个源端数据源设置。 | ||
DataSourceName | string | 否 | 数据源名称。 | mysql_datasource_1 |
DataSourceProperties | object | 否 | 数据源属性。 | |
Encoding | string | 否 | 数据库编码。 | UTF-8 |
Timezone | string | 否 | 时区 | GMT+8 |
DestinationDataSourceSettings | array<object> | 是 | 目标端数据源设置列表。 | |
object | 是 | 单个目标端数据源设置。 | ||
DataSourceName | string | 否 | 数据源名称。 | holo_datasource_1 |
ResourceSettings | object | 是 | 资源设置。 | |
OfflineResourceSettings | object | 否 | 离线同步资源。 | |
RequestedCu | double | 否 | 离线同步使用的数据集成资源组 cu | 2.0 |
ResourceGroupIdentifier | string | 否 | 离线同步使用的数据集成资源组标识。 | S_res_group_111_222 |
RealtimeResourceSettings | object | 否 | 实时同步资源。 | |
RequestedCu | double | 否 | 实时同步使用的数据集成资源组 cu | 2.0 |
ResourceGroupIdentifier | string | 否 | 实时同步使用的数据集成资源组标识。 | S_res_group_111_222 |
ScheduleResourceSettings | object | 否 | 调度资源 | |
RequestedCu | double | 否 | 离线同步任务使用的调度资源组 cu | 2.0 |
ResourceGroupIdentifier | string | 否 | 离线同步任务使用的调度资源组标识 | S_res_group_235454102432001_1579085295030 |
TransformationRules | array<object> | 否 | 同步对象转换规则定义列表。 | |
object | 否 | 单个同步对象转换规则定义,每个元素为一条转换规则定义。 | ||
RuleActionType | string | 否 | 动作类型,可选的枚举值:
| Rename |
RuleExpression | string | 否 | 规则表达式,json string 格式。 重命名规则(Rename)示例: {"expression":"${srcDatasourceName}_${srcDatabaseName}_0922","variables":[{"variableName":"srcDatabaseName","variableRules":[{"from":"fromdb","to":"todb"}]}]}
在目标端增加指定列并赋值规则(AddColumn)示例: {"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}
指定目标端表的主键列列名(DefinePrimaryKey)示例: {"columns":["ukcolumn1","ukcolumn2"]}
DML 处理规则(HandleDml)示例: {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}
| {"expression":"${srcDatasoureName}_${srcDatabaseName}"} |
RuleName | string | 否 | 规则名称,当动作类型和动作作用的目标类型相同时,规则名称需保证唯一性。 | rename_rule_1 |
RuleTargetType | string | 否 | 动作作用的目标类型,可选的枚举值:
| Table |
TableMappings | array<object> | 是 | 同步对象转换映射列表,列表中每个元素描述了一组源端同步对象选择规则列表和在该组同步对象上应用的同步对象转换规则列表。 | |
object | 是 | 每条规则代表选择需要同步的一个表。 | ||
SourceObjectSelectionRules | array<object> | 否 | 每条规则可选择待同步源端对象的集合,多条规则组成选一个表。 | |
object | 否 | 每条规则可选择待同步源端对象的不同对象类型,如选择源端数据库、源端数据表。 | ||
Action | string | 否 | 选择动作,取值范围:Include/Exclude | Include |
Expression | string | 否 | 表达式。 | mysql_table_1 |
ExpressionType | string | 否 | 表达式类型,取值范围:Exact/Regex | Exact |
ObjectType | string | 否 | 对象类型,可选的枚举值:
| Table |
TransformationRules | array<object> | 否 | 同步对象转换规则定义列表,列表中每个元素为一条转换规则定义。 | |
object | 否 | 源端对象上应用的转换规则。 | ||
RuleName | string | 否 | 规则名称,在一种动作类型+动作作用的目标类型下规则名称唯一。 | rename_rule_1 |
RuleActionType | string | 否 | 动作类型,可选的枚举值:
| Rename |
RuleTargetType | string | 否 | 动作作用的目标类型,可选的枚举值:
| Table |
JobSettings | object | 否 | 同步任务维度的设置,含 DDL 处理策略、源端和目标端列数据类型映射策略、任务运行时参数等。 | |
ChannelSettings | string | 否 | 通道相关任务设置,Json String 形式。 | {"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""} |
ColumnDataTypeSettings | array<object> | 否 | 列类型映射数组。 | |
object | 否 | 单条列类型映射。 | ||
DestinationDataType | string | 否 | 目标端类型。 | text |
SourceDataType | string | 否 | 源端类型。 | bigint |
CycleScheduleSettings | object | 否 | 周期调度设置。 | |
CycleMigrationType | string | 否 | 需要周期调度的同步类型。取值范围:
| Full |
ScheduleParameters | string | 否 | 调度参数。 | bizdate=$bizdate |
DdlHandlingSettings | array<object> | 否 | DDL 处理设置数组。 | |
object | 否 | 单条 DDL 处理设置。 | ||
Action | string | 否 | 处理动作,可选的枚举值:
| Critical |
Type | string | 否 | DDL 类型,可选的枚举值:
| AddColumn |
RuntimeSettings | array<object> | 否 | 运行时设置。 | |
object | 否 | |||
Name | string | 否 | 设置名称,可选的枚举值:
| runtime.offline.concurrent |
Value | string | 否 | 设置取值。 | 1 |
返回参数
示例
正常返回示例
JSON
格式
{
"DIJobId": 11792,
"RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB"
}
错误码
访问错误中心查看更多错误码。
变更历史
变更时间 | 变更内容概要 | 操作 |
---|