数据传输服务 DTS：MySQL实例间的双向同步

前提条件

数据同步的源和目标RDS MySQL实例已存在，如不存在请创建RDS实例。

注意事项

• DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据库服务不可用。因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。

• 数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。

• 如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，详情请参见不锁表结构变更。

• 目标库为RDS MySQL实例时（除5.7和8.0版本外），DTS会在目标库新建一个有写入权限且仅供DTS内部使用的数据同步账号dtssyncwriter。

• 双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：

  • 仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。

  • 当前任务的源数据仅支持同步到当前任务的目标端，同步过来的数据不会作为另一个任务的源数据继续同步。

费用说明

支持的同步架构

目前DTS仅支持两个MySQL数据库之间的双向同步，暂不支持多个MySQL数据库之间的双向同步。

支持的数据源

MySQL间的双向数据同步支持以下数据源，本文以RDS MySQL实例为数据源介绍配置流程，其他数据源的配置流程与该案例类似。

支持同步的SQL操作

支持的冲突检测

为保障同步数据的一致性，您需要确保同一个主键、业务主键或唯一键的记录只在双向同步的一个节点进行更新。如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。

DTS通过冲突检测和修复最大程度地维护双向同步实例的稳定性。目前DTS支持进行检测的冲突类型包括：

• INSERT导致的唯一性冲突

  同步INSERT语句时违背了唯一性约束，例如双向同步的两个节点同时或者在极为接近的时间INSERT某个主键值相同的记录，那么同步到对端时，会因为已经存在相同主键值的记录，导致Insert同步失败。

• UPDATE更新的记录不完全匹配

  • UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。

  • UPDATE要更新的记录出现主键或唯一键冲突。

• DELETE对应的记录不存在

  DELETE要删除的记录在同步的目标实例中不存在。出现这种冲突时，不论配置何种冲突修复策略，DTS都会自动忽略DELETE操作。

功能限制

• 不兼容触发器

  同步对象为整个库且这个库中包含了会更新同步表内容的触发器，那么可能导致同步数据不一致。例如数据库中存在了两个表A和B。表A上有一个触发器，触发器内容为在INSERT一条数据到表A之后，在表B中插入一条数据。这种情况在同步过程中，如果源实例表A上进行了INSERT操作，则会导致表B在源实例跟目标实例数据不一致。

  此类情况须要将目标实例中的对应触发器删除掉，表B的数据由源实例同步过去，详情请参见源库存在触发器时如何配置同步或迁移作业。

• RENAME TABLE限制

  RENAME TABLE操作可能导致同步数据不一致。例如同步对象只包含某个表，如果同步过程中源实例对该表执行了重命名操作，那么该表的数据将不会同步到目标库。为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象。

• DDL语法同步方向限制

  为保障双向同步链路的稳定性，DDL更新只能在其中一个同步方向进行同步。即一旦某个同步方向配置了DDL同步，则在反方向上不支持DDL同步，只进行DML同步。

操作步骤

1. 购买双向数据同步实例，详情请参见购买数据同步任务。

   重要

   购买时，源实例和目标实例均选择为MySQL，并选择同步拓扑为双向同步。

2. 登录数据传输控制台。

   说明

   若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的中单击，返回至旧版数据传输控制台。

3. 在左侧导航栏，单击数据同步。

4. 在同步作业列表页面顶部，选择同步的目标实例所属地域。

5. 定位至已购买的数据同步实例，单击该实例下第一个同步作业的配置同步链路。

   重要

   一个双向数据同步实例会包含两个同步作业，需要分别进行配置。

   

6. 配置同步通道的源实例及目标实例信息。

   类别	配置	说明
   无	同步作业名称	DTS会自动生成一个同步作业名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。
   源实例信息	实例类型	选择RDS实例。
   	实例地区	购买数据同步实例时选择的源实例地域信息，不可变更。
   	实例ID	选择作为数据同步源的RDS实例ID。
   	数据库账号	填入源RDS的数据库账号。 重要 当源RDS实例的数据库类型为MySQL 5.5或MySQL 5.6时，没有数据库账号和数据库密码配置选项。
   	数据库密码	填入数据库账号对应的密码。
   	连接方式	根据需求选择非加密连接或SSL安全连接。如果设置为SSL安全连接，您需要提前开启RDS实例的SSL加密功能，详情请参见设置SSL加密。 重要 目前仅中国内地及中国香港地域支持设置连接方式。
   目标实例信息	实例类型	选择RDS实例。
   	实例地区	购买数据同步实例时选择的目标实例地域信息，不可变更。
   	实例ID	选择作为数据同步目标的RDS实例ID。
   	数据库账号	填入目标RDS的数据库账号。 重要 当目标RDS实例的数据库类型为MySQL 5.5或MySQL 5.6时，没有数据库账号和数据库密码配置选项。
   	数据库密码	填入数据库账号对应的密码。
   	连接方式	根据需求选择非加密连接或SSL安全连接。如果设置为SSL安全连接，您需要提前开启RDS实例的SSL加密功能，详情请参见设置SSL加密。 重要 目前仅中国内地及中国香港地域支持设置连接方式。

7. 单击页面右下角的授权白名单并进入下一步。

   如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB版等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全规则中）；如果源或目标数据库是IDC自建数据库或其他云数据库，则需要您手动添加对应地区DTS服务的IP地址，以允许来自DTS服务器的访问。DTS服务的IP地址，请参见DTS服务器的IP地址段。

   警告

   DTS自动添加或您手动添加DTS服务的公网IP地址段可能会存在安全风险，一旦使用本产品代表您已理解和确认其中可能存在的安全风险，并且需要您做好基本的安全防护，包括但不限于加强账号密码强度防范、限制各网段开放的端口号、内部各API使用鉴权方式通信、定期检查并限制不需要的网段，或者使用通过内网（专线/VPN网关/智能网关）的方式接入。

8. 配置同步策略及对象信息。

   类别	配置	说明
   同步策略配置	是否过滤DDL	选择为是：不同步DDL操作。 选择为否：同步DDL操作。 重要 DDL语法同步方向限制 。为保障双向同步链路的稳定性，只支持正向同步DDL，不支持反向同步DDL。
   	DML同步类型	选择需要同步的DML类型，默认为Insert、Update、Delete，您可以根据业务需求调整。
   	冲突修复策略	选择同步冲突的修复策略，默认为TaskFailed，您可以根据业务情况选择合适的冲突修复策略。 TaskFailed（遇到冲突，任务报错退出） 默认的冲突修复策略。当数据同步遇到上述冲突类型时，同步任务直接报错并退出，同步任务进入失败状态，需要用户介入修复任务。 Ignore（遇到冲突，直接使用目标实例中的冲突记录） 当数据同步遇到上述的冲突类型时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。 Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录） 当数据同步遇到上述的冲突类型时，直接覆盖目标库中的冲突记录。
   选择同步对象	无	在源库对象框中单击待同步的对象（选择粒度为库或表），然后单击将其移动到已选择对象框。 重要 如果选择整个库作为同步对象，该库中所有对象的结构变更操作都会同步至目标库。 默认情况下，同步对象的名称保持不变。如果您需要改变同步对象在目标库中的名称，需要使用对象名映射功能，详情请参见设置同步对象在目标实例中的名称。
   映射名称更改	无	如需更改同步对象在目标实例中的名称，请使用对象名映射功能，详情请参见库表列映射。
   源表DMS_ONLINE_DDL过程中是否复制临时表到目标库	无	如源库使用数据管理DMS（Data Management）执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。 是：同步Online DDL变更产生的临时表数据。 说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。 否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。 说明 该方案会导致目标库锁表。
   源、目标库无法连接重试时间	无	当源、目标库无法连接时，DTS默认重试720分钟（即12小时），您也可以自定义重试时间。如果DTS在设置的时间内重新连接上源、目标库，同步任务将自动恢复。否则，同步任务将失败。 说明 由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标库实例释放后尽快释放DTS实例。

9. 上述配置完成后，单击页面右下角的下一步。

10. 配置同步初始化的高级配置信息。

    此步骤会将源实例中已经存在同步对象的结构及数据在目标实例中初始化，作为后续增量同步数据的基线数据。同步初始化类型细分为：结构初始化、全量数据初始化。默认情况下，需要选择结构初始化和全量数据初始化。

    重要

    如果同步对象中有部分表包含在另外一个同步方向的同步对象中，那么这部分表不会进行同步初始化。

11. 上述配置完成后，单击页面右下角的预检查并启动。

    重要

    • 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。

    • 如果预检查失败，单击具体检查项后的，查看失败详情。

      • 您可以根据提示修复后重新进行预检查。

      • 如无需修复告警检测项，您也可以选择确认屏蔽、忽略告警项并重新进行预检查，跳过告警检测项重新进行预检查。

12. 在预检查对话框中显示预检查通过后，关闭预检查对话框，同步作业将正式开始。

13. 等待该同步作业的链路初始化完成，直至状态处于同步中。

    您可以在数据同步页面，查看数据同步状态。

14. 定位至第二个同步作业，单击配置同步链路，配置流程参见步骤5到步骤12。

15. 第二个同步作业配置完成后，等待两个同步作业的链路状态均处于同步中，即完成双向数据同步的配置流程。