整库离线同步至Elasticsearch

操作流程

1. 步骤一：选择同步方案

2. 步骤二：配置网络连通

3. 步骤三：设置同步来源与规则

4. 步骤四：设置目标索引

5. 步骤五：同步规则设置

6. 步骤六：运行资源设置

7. 步骤七：执行同步任务

步骤一：选择同步方案

创建同步解决方案任务，根据需求选择需要同步的源端数据源和目标端数据源，并选择整库离线同步至Elasticsearch方案。

步骤二：配置网络连通

源端选择已创建的源端数据源与目标端数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见：配置同步网络链接。

步骤三：设置同步来源与规则

1. 在基本配置区域，配置同步解决方案的名称、任务存放位置等信息。

2. 在数据来源区域，确认需要同步的源端数据源相关信息。

3. 在选择同步的源表区域，选中需要同步的源表，单击图标，将其移动至已选源表。

   该区域会为您展示所选数据源下所有的表，您可以选择整库全表或部分表进行同步。

4. 在设置表名到索引的映射规则区域，单击添加规则，选择相应的规则进行添加。

   同步时默认将源端数据表写入Elasticsearch同名索引中，同时，您可以通过添加映射规则定义最终写入目的端的索引名称，实现将多张表数据写入到同一个索引中，或统一将源端某固定前缀的表名在写入目标索引时更新为其他前缀。支持通过正则表达式转换写入的索引名，还支持使用内置变量拼接目标索引名。配置逻辑请参见：设置同步来源与规则。

步骤四：设置目标索引

单击刷新源表和Elasticsearch 索引映射将根据您在步骤三配置的设置表名到索引名的映射规则来生成目标索引，若步骤三未配置映射规则，将默认写入与源表同名的目标索引，若目标端不存在该同名索引，将默认新建。同时，您可以修改索引建立方式。

步骤五：同步规则设置

1. 选择同步方案。

   整库离线同步可选择的同步方案如下表所示。

   同步方案	描述

   同步方案	描述
   只全量一次性同步	只执行一次同步操作，将来源数据源的所有数据，全量同步至Elasticsearch中。
   只增量一次性同步	只执行一次同步操作，按照指定的过滤条件，将来源数据源的增量数据同步至Elasticsearch中。
   周期性全量同步	按照配置的周期任务，每次执行任务时都将来源数据源的所有数据，全量同步至Elasticsearch中。
   周期性增量同步	按照指定的过滤条件和周期任务，每次执行任务时仅将增量数据同步至Elasticsearch中。
   全量一次性同步后周期性增量	先将来源数据源的所有数据全量同步至Elasticsearch，再按照指定的过滤条件和周期任务，后续每次执行任务时仅将增量数据同步至Elasticsearch中。

2. 配置同步方案参数。

   选择同步方案后，不同同步方案需配置不同的同步参数，包括全量同步参数、增量同步参数及周期设置参数。具体如下：

   • 全量同步

     仅当方案选择配置为只全量一次性同步、周期性全量同步或全量一次性同步后周期增量时，需要配置该参数。

     参数	描述

     参数	描述
     写入前清空对应的原有index（索引）	取值如下： 是：写入数据前会清空索引中原有的数据。 否：写入数据前不会清空索引中原有的数据。 重要 配置该参数为是时，则会在写入数据前删除目标索引中所有的数据，请谨慎选择。
     写入Elasticsearch策略	取值如下： 插入：为默认值，同步数据时直接向目标索引中插入数据。 更新：同步数据时，如果有相同的主键，则更新主键数据；如果没有相同的主键，则直接插入数据。 更新数据时，是先将原有的一行数据全部删除后再重新插入。
     每批次写入的条数	每次批量写入Elasticsearch的数据条数，即攒够一定条数的数据后，一次性写入Elasticsearch。默认为1000。您可以根据实际网络情况及数据量大小进行合理配置，减少不必要的网络开销。

   • 增量同步

     仅当方案选择配置为只增量一次性同步、周期性增量同步或全量一次性同步后周期增量时，需要配置该参数。

     说明

     您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。

     参数	描述

     参数	描述
     写入ElasticSearch策略	取值如下： 插入：为默认值，同步数据时直接向目标索引中插入数据。 更新：同步数据时，如果有相同的主键，则更新主键数据；如果没有相同的主键，则直接插入数据。 更新数据时，是先将原有的一行数据全部删除后再重新插入。
     每批次写入的条数	每次批量写入Elasticsearch的数据条数，即攒够一定条数的数据后，一次性写入Elasticsearch。默认为1000。您可以根据实际网络情况及数据量大小进行合理配置，减少不必要的网络开销。
     增量条件	您可通过where语句对待同步的数据表进行过滤，且只需在增量条件框中填写where子句，无需写where关键字。同时，在写where子句时，您可以使用系统内置变量，例如使用${bdp.system.bizdate}指代业务日期、使用${bdp.system.cyctime}指代定时时间等。

   • 周期设置

     由于需要进行周期性调度，所以需要在此定义周期性调度任务时的相关属性，包括调度周期、生效日期、暂停调度等。当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见时间属性配置说明。

步骤六：运行资源设置

步骤七：执行同步任务

1. 进入数据集成 > 同步任务界面，找到已创建的同步方案。

2. 单击操作列的启动/提交执行按钮，启动同步的运行。

3. 单击操作列的执行详情，查看任务的详细执行过程。