全部产品
Search
文档中心

数据传输服务 DTS:过滤待迁移数据

更新时间:Jan 19, 2024

在配置数据迁移任务的迁移对象时,您可以设置过滤条件,过滤待迁移数据。只有满足过滤条件的数据才会被迁移到目标数据库。该功能可应用于数据的定期迁移、拆分数据表等多种应用场景。

功能限制

仅支持过滤当前表的字段,不支持跨表过滤。如有需要,您可以在多个表中分别填写过滤条件。

操作步骤

说明

新版控制台的操作步骤,请参见设置过滤条件

  1. 配置数据迁移任务的设置迁移类型及列表环节中,将要迁移的对象移动到已选择区域框中后,把鼠标指针放置在要修改的数据表上,并单击数据表后出现的编辑选择表

  2. 在弹出的对话框中,填入过滤条件

    • 关系型数据库,例如MySQL、SQL Server。配置SQL过滤条件

      说明
      • 过滤条件支持标准的SQL WHERE语句(仅支持=!=<>操作符),只有满足WHERE条件的数据才会被迁移到目标数据库中。本案例填入orderid>100

      • 过滤条件支持按时间条件过滤,但SQL WHERE语句中时间的格式有一定要求,例如过滤2020年之后创建的增量数据,您需要填入create_time>'2020-01-01'create_time>'2020-01-01 00:00:00',不支持填入create_time>'2020'

      • 过滤条件中如需使用引号,请使用英文单引号('),例如address in('hangzhou','shanghai')

      • 如源库中同一张表内存在两个列A和a,由于过滤条件忽略列名的英文大小写,则SQL WHERE语句仅支持过滤列A,不支持过滤列a,例如支持WHERE A=10,不支持WHERE a=10

    • 非关系型数据库,例如MongoDB。

      说明

      支持JSON格式的查询条件,只有满足JSON条件的数据才会被迁移到目标库中。本案例填入{"id":{$gt:"52b64e55dc4449b7ba3d1183a0ea171b"}},即ID大于该值的数据才会被迁移。

  3. 单击验证语法,确认语法正确性。

    说明
    • 如果语法正确,则弹出提示对话框,并显示验证通过

    • 如果语法错误,则弹出错误对话框,您需要根据对话框中的提示,对过滤条件进行调整。

  4. 单击确定

  5. 根据提示,完成后续的数据迁移任务配置。