数据传输服务 DTS：Reserve参数说明

参数

是否必填

说明

targetTableMode

是

目标已存在表的处理模式：

• 0：预检查并报错拦截。

• 2：忽略报错并继续执行。

dts.datamove.source.bps.max

否

全量或增量任务每秒同步或迁移的最大数据量，单位为B（Byte）。

conflict

否

双向同步任务的全局冲突修复策略，取值为：

• overwrite：当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。

• interrupt：当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您手动修复任务。

• ignore：当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。

filterDDL

否

双向同步任务是否过滤正向任务的DDL操作，取值为：

• true：不同步DDL操作。

• false：同步DDL操作。

  重要

  反向任务将自动过滤DDL操作。

autoStartModulesAfterConfig

否

任务启动控制参数，取值：

• none（默认值）：DTS任务配置完成后，不启动预检查等模块，需要手动启动任务。

• auto：DTS任务配置完成后，自动启动预检查模块及其后续所有模块。

etlOperatorCtl

否

是否配置ETL功能，取值为：

• Y：是，配置ETL功能。

• N：否，不配置ETL功能。

etlOperatorSetting

否

ETL的数据处理语句。更多信息，请参见数据处理DSL语法。

etlOperatorColumnReference

否

T+1业务专用的字段，ETL算子。

configKeyMap

否

ETL算子配置信息。

syncArchitecture

否

同步拓扑，取值为：

• oneway：单向同步。

• bidirectional：双向同步。

dataCheckConfigure

否

数据校验配置，详情请参见DataCheckConfigure参数说明。

dbListCaseChangeMode

否

目标库对象名称大小写策略，取值为：

• default：使用DTS默认策略。

• source：和源库保持一致。

• dest_upper：与目标库默认策略保持一致（大写）。

• dest_lower：与目标库默认策略保持一致（小写）。

maxRetryTime

否

源库、目标库无法连接后的重试时间，取值为[600,86400]的整数，单位为秒。默认为720分钟（43200秒），建议设置30分钟（1800秒）以上。

参数

是否必填

说明

vpcId

是

订阅实例的专有网络ID。

vswitchId

是

订阅实例的虚拟交换机ID。

startTime

否

订阅数据的起始时间戳，单位为秒。

endTime

否

订阅数据的结束时间戳，单位为秒。

参数

是否必填

说明

srcInstanceId

否

源实例的云企业网实例ID。示例：

{
   "srcInstanceId": "cen-9kqshqum*******"  }

destInstanceId

否

目标实例的云企业网实例ID。示例：

{
   "destInstanceId": "cen-9kqshqum*******"  }

参数

配置条件

说明

privilegeMigration

当源和目标数据库类型均为RDS MySQL时。

是否迁移账号，取值为：

• true：迁移账号。

• false（默认值）：不迁移账号。

privilegeDbList

迁移账号的信息。

definer

是否保留数据库对象原有的Definer，取值为true或false。

amp.increment.generator.logmnr.mysql.heartbeat.mode

当源数据库类型为自建MySQL时。

是否去除正反向任务的心跳表SQL，取值为：

• none：不在源库中写入心跳SQL信息。

• N：在源库中写入心跳SQL信息。

whitelist.dms.online.ddl.enable

当目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版、AnalyticDB MySQL版或AnalyticDB PostgreSQL版，且为同步或迁移实例时。

此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

• 复制源表Online DDL变更产生的临时表数据：

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不复制源表Online DDL变更产生的临时表数据，只同步源库使用DMS执行的原始DDL数据：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "true",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不复制源表Online DDL变更产生的临时表数据，只同步源库使用gh-ost执行的原始DDL数据：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "true",
       "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
       "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
  }

  说明

  可以使用默认的或者自行配置gh-ost影子表的正则表达式（online.ddl.shadow.table.rule）和无用表的正则表达式（online.ddl.trash.table.rule）。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

当源和目标实例的数据库类型均为MySQL（包括RDS MySQL和自建MySQL）时。

是否开启迁移评估功能，评估源库和目标库的结构是否满足要求。取值为true或false。

srcSSL

接入方式为云实例或ECS自建数据库时。

源端数据库的连接方式，取值为：

• 0：非加密连接。

• 1：SSL安全连接。

参数

配置条件

说明

amp.increment.generator.logmnr.mysql.heartbeat.mode

必填

是否去除正反向任务的心跳表SQL，取值为：

• none：不在源库中写入心跳SQL信息。

• N：在源库中写入心跳SQL信息。

whitelist.dms.online.ddl.enable

当目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版、AnalyticDB MySQL版或AnalyticDB PostgreSQL版，且为同步或迁移实例时。

此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

• 复制源表Online DDL变更产生的临时表数据：

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不复制源表Online DDL变更产生的临时表数据，只同步源库使用DMS执行的原始DDL数据：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "true",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不复制源表Online DDL变更产生的临时表数据，只同步源库使用gh-ost执行的原始DDL数据：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "true",
       "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
       "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
  }

  说明

  可以使用默认的或者自行配置gh-ost影子表的正则表达式（online.ddl.shadow.table.rule）和无用表的正则表达式（online.ddl.trash.table.rule）。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

参数

配置条件

说明

srcSSL

接入方式为云实例或ECS自建数据库时。

源端数据库的连接方式，取值为：

• 0：非加密连接。

• 1：SSL安全连接。

参数

配置条件

说明

isTargetDbCaseSensitive

当目标数据库类型为AnalyticDB PostgreSQL版时。

是否为目标对象添加引号，取值为true或false。

isNeedAddRowId

当目标数据库类型为AnalyticDB PostgreSQL版，且待同步或迁移的对象存在无主键表时。

是否将无主键表全部设置ROWID作为主键和分布键，取值为true或false。

srcOracleType

必填

Oracle实例的类型，取值为：

• sid：非RAC实例。

• serviceName：RAC或PDB实例。

source.column.encoding

需要指定实际业务的写入编码时。

实际业务的写入编码，支持选择的编码为：

• default（默认值）

• GB 2312

• GBK

• GB 18030

• UTF-8

• UTF-16

• UTF-32

参数

配置条件

说明

isTargetDbCaseSensitive

当目标数据库类型为AnalyticDB PostgreSQL版时。

是否为目标对象添加引号，取值为true或false。

source.extractor.type

当目标数据库类型不为DataHub，且有增量任务时需要配置。

SQL Server增量同步或迁移的模式，取值为：

• cdc：非堆表用日志解析增量同步或迁移，堆表用CDC增量同步或迁移。

• log：解析源库日志做增量同步或迁移。

src.sqlserver.schema.mapper.mode

目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版或云原生数据仓库 AnalyticDB MySQL 版时。

源库和目标库结构映射模式，取值为：

• schema.table：将源库中的Schema名.表名作为目标表的名称。

• without.schema：将源库的表名作为目标表的名称。

  警告

  若源库多个Schema中有名称相同的表，则可能会导致数据不一致或任务失败。

参数

配置条件

说明

srcKvStoreMode

数据库实例的接入方式不为云实例时。

源自建Redis的实例模式，取值为：

• single：单机版。

• cluster：集群版。

any.sink.redis.expire.extension.seconds

必填

源库中的Key迁移到目标库时额外延长的过期时间。为保障数据的一致性，如有使用到（包括但不限于）如下命令，建议设置延长Key的过期时间为600秒以上。

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

any.source.redis.use.slave.node

当srcKvStoreMode为cluster时。

当源自建Redis的实例模式为集群版时，选择从Master或Slave节点拉取数据。取值为：

• true：从Slave节点拉取数据。

• false（默认）：从Master节点拉取数据。

参数

配置条件

说明

srcEngineArchType

必填

源MongoDB数据库的架构类型，取值为：

• 0 ：单节点架构。

• 1：副本集架构。

• 2：分片集群架构。

sourceShardEndpointUsername

当srcEngineArchType为2时。

源MongoDB数据库的Shard账号。

sourceShardEndpointPassword

源MongoDB数据库的Shard密码。

参数

配置条件

说明

amp.increment.generator.logmnr.mysql.heartbeat.mode

必填

是否去除正反向任务的心跳表SQL，取值为：

• none：不在源库中写入心跳SQL信息。

• N：在源库中写入心跳SQL信息。

参数

配置条件

说明

srcHostPortCtl

接入方式为公网IP时。

PolarDB PostgreSQL版（兼容Oracle）是否选择多源数据，取值为：

• single：即单个IP:Port。

• multiple：即多个IP:Port。

srcHostPorts

当srcHostPortCtl为multiple时。

源PolarDB PostgreSQL版（兼容Oracle）节点的IP地址和端口号信息，多个IP:Port之间用英文半角逗号分隔。

参数

配置条件

说明

amp.increment.generator.logmnr.mysql.heartbeat.mode

必填

是否去除正反向任务的心跳表SQL，取值为：

• none：不在源库中写入心跳SQL信息。

• N：在源库中写入心跳SQL信息。

isIncMigration

必填

是否做增量迁移，取值为yes或no。

srcKafka

当isIncMigration为yes时。

TiDB下游的Kafka信息。

taskType

Kafka集群类型，根据Kafka的部署位置进行选择。取值为：

• EXPRESS：专线/VPN网关/智能网关。

• ECS：ECS自建数据库。

bisId

• 当taskType为ECS时，表示ECS的实例ID。

• 当taskType为EXPRESS时，表示已和源端数据库联通的专有网络ID

port

Kafka集群的服务端口。

user

Kafka集群账号，若Kafka未开启验证可不填写。

passwd

Kafka集群密码，若Kafka未开启验证可不填写。

version

Kafka集群的版本。

ssl

Kafka集群的连接方式，取值为：

• 0：非加密连接。

• 3：使用SCRAM-SHA-256进行加密连接。

topic

迁移或同步对象所属的Topic。

host

当taskType为EXPRESS时。

Kafka集群的IP地址。

vpcId

当taskType为ECS时。

ECS实例的专有网络。

参数

配置条件

说明

privilegeMigration

当源和目标数据库类型均为RDS MySQL时，详情请参见源数据库类型为MySQL（包括RDS MySQL和自建MySQL）。

是否迁移账号。

privilegeDbList

迁移账号的信息。

definer

是否保留数据库对象原有的Definer。

whitelist.dms.online.ddl.enable

当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。更多信息，请参见源数据库参数配置。

此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

当源和目标实例的数据库类型均为MySQL（包括RDS MySQL和自建MySQL）时。

是否开启迁移评估功能，评估源库和目标库的结构是否满足要求。取值为true或false。

triggerMode

必填

源库触发器迁移方式，取值为：

• manual：手动迁移。

• auto：自动迁移。

destSSL

接入方式为云实例或ECS自建数据库时。

目标端数据库的连接方式，取值为：

• 0：非加密连接。

• 1：SSL安全连接。

src.sqlserver.schema.mapper.mode

当源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）时。

源库和目标库结构映射模式，详情请参见源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）。

参数

配置条件

说明

whitelist.dms.online.ddl.enable

当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。更多信息，请参见源数据库参数配置。

此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

anySinkTableEngineType

必填

PolarDB MySQL实例的引擎类型，取值为：

• innodb：默认存储引擎。

• xengine：联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。

triggerMode

必填

源库触发器迁移方式，取值为：

• manual：手动迁移。

• auto：自动迁移。

src.sqlserver.schema.mapper.mode

当源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）时。

源库和目标库结构映射模式，详情请参见源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）。

参数

配置条件

说明

whitelist.dms.online.ddl.enable

当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。详情请参见源数据库参数配置。

此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

triggerMode

必填

源库触发器迁移方式，取值为：

• manual：手动迁移。

• auto：自动迁移。

src.sqlserver.schema.mapper.mode

当源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）时。

源库和目标库结构映射模式，详情请参见源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）。

traceDatasource

必填

是否开启多表归并，取值为true或false。

tagColumnValue

设置是否自定义标签列时。

是否自定义__dts_data_source标签列，取值为：

• tagColumnValue：自定义标签列。

  重要

  您还需要在DbList参数中配置标签列的值，详情请参见迁移、同步或订阅对象说明。

• notTagColumnValue：不自定义标签列。

  重要

  当前仅先购买后配置模式的实例支持自定义标签列。

adsSqlType

需指定按实例级别选择增量同步或迁移的SQL操作时。

按实例级别选择增量同步或迁移的SQL操作，多个SQL使用英文逗号分隔，取值为：

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

参数

配置条件

说明

whitelist.dms.online.ddl.enable

当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。更多信息，请参见源数据库参数配置。

此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isTargetDbCaseSensitive

当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）、Oracle或SQL Server数据库（包括RDS SQL Server和自建SQL Server）时。

是否为目标对象添加引号，取值为true或false。

syncOperation

需指定按实例级别选择增量同步或迁移的SQL操作时。

按实例级别选择增量同步或迁移的SQL操作，多个SQL使用英文逗号分隔，取值为：

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

• createDB

• dropDB

参数

配置条件

说明

triggerMode

必填

源库触发器迁移方式，取值为：

• manual：手动迁移。

• auto：自动迁移。

destSSL

接入方式为云实例或ECS自建数据库时。

目标端数据库的连接方式，取值为：

• 0：非加密连接。

• 1：SSL安全连接。

参数

配置条件

说明

destEngineArchType

必填

目标MongoDB数据库的架构类型，取值为：

• 0 ：单节点架构。

• 1：副本集架构。

• 2：分片集群架构。

参数

配置条件

说明

destKvStoreMode

数据库实例的接入方式不为云实例时。

目标自建Redis的实例模式，取值为：

• single：单机版。

• cluster：集群版。

any.sink.redis.expire.extension.seconds

必填

源库中的Key迁移到目标库时额外延长的过期时间。为保障数据的一致性，如有使用到（包括但不限于）如下命令，建议设置延长Key的过期时间为600秒以上。

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

参数

配置条件

说明

destHostPortCtl

接入方式为公网IP时。

PolarDB PostgreSQL版（兼容Oracle）是否选择多源数据，取值为：

• single：即单个IP:Port。

• multiple：即多个IP:Port。

destHostPorts

当destHostPortCtl为multiple时。

目标PolarDB PostgreSQL版（兼容Oracle）节点的IP地址和端口号信息，多个IP:Port之间用英文半角逗号分隔。

参数

配置条件

说明

destOracleType

必填

Oracle实例的类型，取值为：

• sid：非RAC实例。

• serviceName：RAC或PDB实例。

参数

配置条件

说明

isUseNewAttachedColumn

必填

附加列命名规则如下：

• 使用新附加列命名规则：isUseNewAttachedColumn取值为true。

• 使用旧附加列命名规则：isUseNewAttachedColumn取值为false。

参数

配置条件

说明

isUseNewAttachedColumn

必填

附加列命名规则如下：

• 使用新附加列命名规则：isUseNewAttachedColumn取值为true。

• 使用旧附加列命名规则：isUseNewAttachedColumn取值为false。

partition

必填

增量日志表分区名称，取值为：

• 当isUseNewAttachedColumn为true时：

  • modifytime_year

  • modifytime_month

  • modifytime_day

  • modifytime_hour

  • modifytime_minute

• 当isUseNewAttachedColumn为false时：

  • new_dts_sync_modifytime_year

  • new_dts_sync_modifytime_month

  • new_dts_sync_modifytime_day

  • new_dts_sync_modifytime_hour

  • new_dts_sync_modifytime_minute

参数

配置条件

说明

indexMapping

必填

在目标Elasticsearch实例中创建的索引名称，取值为：

• tb：创建的索引名称和表名一致。

• db_tb：创建的索引名称由库名、下划线（_）和表名按顺序拼接而成。

参数

配置条件

说明

destTopic

必填

目标Kafka集群中迁移或同步对象所属Topic。

destVersion

必填

目标Kafka集群的版本，取值为1.0、0.9、0.10。

destSSL

必填

连接目标Kafka集群的方式，取值为：

• 0：非加密连接。

• 3：使用SCRAM-SHA-256进行加密连接。

sink.kafka.ddl.topic

需要指定用于存储DDL信息的Topic时。

用于存储DDL信息的Topic。如果未输入，DDL信息默认存储在destTopic输入的Topic中。

kafkaRecordFormat

必填

数据投递到目标Kafka集群中的存储格式，取值为：

• canal_json：使用Canal来解析数据库增量日志，并将增量数据传输至目标Kafka集群中，数据存储格式为Canal Json。

• dts_avro：一种数据序列化格式，可将数据结构或对象转化成便于存储或传输的格式。

• shareplex_json：使用数据复制软件Shareplex读取源库中的数据，将数据写入至目标Kafka集群时，数据存储格式为Shareplex Json。

• debezium：一种捕获数据变更的工具，支持将源库的数据更新实时流式传输到目标Kafka集群中。

destKafkaPartitionKey

必填

Kafka Partition（分区）同步策略，取值为：

• none：将所有数据和DDL信息都投递到目标Topic的Partition 0。

• database_table：将库名与表名合并作为Partition Key来计算Hash值，然后将各个表的数据和DDL信息投递到目标Topic中的各个Partition。

• columns：将表中的列（默认为主键，如果无主键则使用唯一键）作为Partition Key来计算Hash值，然后将不同的行投递到目标Topic的各个Partition中。您也可以指定单个或多个列作为Partition Key来计算Hash值。

destSchemaRegistry

必填

是否使用Kafka Schema Registry，取值为yes或no。

destKafkaSchemaRegistryUrl

当destSchemaRegistry为true时。

Avro Schema在Kafka Schema Registry注册的URL或IP。