全部产品
Search
文档中心

云数据库 OceanBase:自定义配置 DDL/DML

更新时间:Oct 16, 2024

本文为您介绍配置数据迁移或数据同步任务时,如何自定义配置增量同步中的 DDL 和 DML 同步。

背景信息

您在配置数据迁移或数据同步任务时,如果在 选择迁移类型选择同步类型 步骤选择了 增量同步,则会默认支持 DML 同步,您可以自定义配置 DML 或 DDL。

  • DML 同步:配置数据迁移或数据同步任务时,您可以对需要同步的 DML SQL 语句设置同步策略,只有符合设置条件的 SQL 语句才会被同步至目标端。该功能常用于历史表和交易明细表场景。

  • DDL 同步:配置数据迁移或数据同步任务时,您可以设置是否同步 DDL。只有设置同步 DDL 后,CREATE、ALTER、DROP 或 TRUNCATE TABLE 等 DDL 语句才会被同步至目标端。该功能常用于长期的数据迁移、数据同步任务,可以显著降低任务运维的成本。

使用限制

  • DML 同步

    • DML 过滤的作用范围为整个数据迁移或数据同步任务。

    • 不支持对选择 DML 过滤的数据迁移任务进行全量数据校验。

  • DDL 同步

    • 除支持的增量 DDL 类型外,其它类型均不支持。

    • 如果需要同步的表涉及不支持的 DDL 类型,数据迁移或数据同步任务可能会中断并造成数据问题,且无法恢复。

    • 请勿在结构迁移/结构同步、全量迁移/全量同步阶段执行库或者表结构变更的 DDL 操作,否则可能导致数据迁移或数据同步任务中断。

操作步骤

  1. 将数据迁移或数据同步任务配置至 选择迁移类型 选择同步类型 步骤。

    详情请参见相应类型的 数据迁移数据同步 任务文档。

    image.png

  2. 选择迁移类型选择同步类型 页面,勾选 增量同步,DML 同步处于默认勾选状态。

    image

  3. 单击 自定义配置 DDL/DML

  4. 自定义配置 DDL/DML 对话框,选择需要同步的 DML 或 DDL。

    • 通常 DML 同步支持 insertdeleteupdate,您可以根据需要进行过滤。不同类型的数据迁移或数据同步任务 DDL 同步支持的范围请参见 DDL 同步范围,您可以根据支持的 DDL 同步范围来自定义配置 DDL。

      image

    • 迁移 Lindorm 或 HBase 数据库的数据至 OBKV 时,DML 同步支持 deleteput。当您选择 增量同步 > DML 同步 时,请联系阿里云技术支持,确认投递到 Kafka 的数据具备有序性,否则可能出现数据不一致的风险。

      Lindorm 的详情请参见《实时数据订阅概述》中的 使用限制,HBase 增强版的详情请参见 Streams(实时数据订阅)功能介绍

      image

  5. 自定义配置 DDL/DML 对话框,单击 确定

  6. 选择迁移类型 选择同步类型 页面,单击 下一步,根据提示完成后续的任务配置。