Hologres整库周期性增全量同步至MaxCompute

使用限制

本实践仅支持使用独享数据集成资源组。

前提条件

• 已完成来源数据源、去向数据源的配置。

  本实践以Hologres作为来源数据源，以MaxCompute作为去向数据源，因此您需要在DataWorks的工作空间的数据源管理页面新增Hologres数据源和MaxCompute数据源，两个数据源支持的数据同步能力请参见Hologres数据源、MaxCompute数据源。

• 已购买独享数据集成资源组，并为资源组绑定工作空间、完成网络连通配置。

  本实践仅支持使用独享数据集成资源组，您需购买并配置独享资源组，保障资源组与Hologres数据源、MaxCompute数据源网络连通，独享数据集成资源组的购买与配置操作请参见新增和使用独享数据集成资源组。

创建同步任务

1. 进入数据集成页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与治理 > 数据集成，在下拉框中选择对应工作空间后单击进入数据集成。

2. 单击同步任务进入同步任务页面，在页面中单击新建同步任务，开始配置同步任务。

3. 配置同步任务基本信息。

   1. 数据来源与去向：来源数据源选择Hologres，去向数据源选择MaxCompute。

   2. 新任务名称：自定义。

   3. 同步类型：整库离线。

   4. 同步步骤：

      • 若您需要进行一次性全量或周期性全量同步，此处请勾选全量同步。

      • 若您需要进行一次性增量或周期性增量同步，此处请勾选增量同步。

      • 若您需要进行一次性全量周期性增量同步，此处请同时勾选全量同步和增量同步。

   5. 网络与资源配置：在下拉框中分别选择已创建的Hologres数据源、MaxCompute数据源、独享数据集成资源组，单击测试所有连通性，保障资源组与数据源之间的网络连通性。

4. 配置任务个性化信息。

   本文档以两个常用场景作为例子，配置Hologres到MaxCompute的同步任务，实际使用中请按照自身业务需求来配置任务。详情请参见场景1：周期全量配置方式、场景2：一次性全量周期性增量配置方式。

场景1：周期全量配置方式

当同步步骤选择结构迁移和全量同步时，周期全量同步任务配置详情如下：

1. 选择同步表。

   您可根据在左侧选择同步的源表区域，选中Hologres中需要同步的源表，将其添加至右侧已选库表区域。当前支持通过正则表达式进行表名搜索过滤。

2. 配置全增量控制。

   全增量控制选择周期性。选择后您可以单击周期调度参数配置设置对应的调度参数。调度参数详情请参见调度参数支持的格式。

   

3. 刷新目标表映射。

   • 单击表右侧操作列的刷新表映射，刷新后将为您展示表结构。

     • 目标端不存在的表可以单击目标表名列的按钮编辑目标表结构，例如，为目标表添加字段，设置主键等。

     • 目标端已有表仅支持查看。

   • 还支持您全选目标表映射框中的表信息，单击批量刷新表映射按钮，进行批量表映射刷新。

4. 同步前清空目标表。

   全量同步前，清空目标表可以保证数据与源端一致。您可以单击右上角的高级参数配置，在写端配置中，将同步前是否清空表设置为true。

   

5. 周期配置。

   表粒度周期性调度参数配置，支持批量修改/单表定制化修改。您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见调度属性配置。

   

6. 完成上述所有任务配置后，单击完成配置，完成同步任务的配置。

   其他参数配置详情请参见其他高级配置。

场景2：一次性全量周期性增量配置方式

当同步步骤选择结构迁移、全量同步和增量同步时，一次性全量周期性增量同步任务配置详情如下：

1. 选择同步表。

   您可根据左侧选择同步的源表区域，选中Hologres中需要同步的源表，将其添加至右侧已选库表区域。当前支持通过正则表达式进行表名搜索过滤。

2. 配置全增量控制。

   此处默认展示一次性全量和周期性增量，不可更改。您可以单击周期调度参数配置设置对应的调度参数。以便任务配置过滤条件、目的表附加字段等地方使用。调度参数详情请参见调度参数支持的格式。

   

3. 刷新目标表映射。

   • 单击表右侧操作列的刷新表映射，刷新后将为您展示表结构。

     • 目标端不存在的表可以单击目标表名列的按钮编辑目标表结构，例如，为目标表添加字段，设置主键等。

     • 目标端已有表仅支持查看。

   • 还支持您全选目标表映射框中的表信息，单击批量刷新表映射按钮，进行批量表映射刷新。

4. 增量条件配置。

   表粒度增量条件参数，支持批量修改/单表定制化修改。您可以对源端进行where字句过滤，此处只需写where子句，不需要写出where关键字。如果启用了周期性配置，可以使用系统参数变量。

   例如：实现每天增量抽取前一天0点到今天0点的数据。

   STR_TO_DATE('${bizdate}', '%Y%m%d') <= columnName AND columnName < DATE_ADD(STR_TO_DATE('${bizdate}', '%Y%m%d'), interval 1 day)

   

5. 周期配置。

   表粒度周期性调度参数配置，支持批量修改/单表定制化修改。您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见调度属性配置。

   

6. 完成上述所有任务配置后，单击完成配置，完成同步任务的配置。

   其他参数配置详情请参见其他高级配置。

其他高级配置

任务运维

数据开发相关场景

如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。