大数据开发治理平台 DataWorks：一键实时同步至Elasticsearch

功能

描述

选择主键替代方案

• 如果来源库有主键，则同步数据时会直接使用该主键进行去重。

• 如果来源库没有主键，则您需要单击图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。

选择索引建立方式

支持自动建索引和使用已有索引：

• 当索引建立方式选择自动建索引时，Elasticsearch索引名列显示自动创建的Elasticsearch索引名。您可以单击索引名称，查看和修改索引相关属性。

• 当索引建立方式选择使用已有索引时，您可以在Elasticsearch索引名列对应的下拉列表中选择需要使用的索引名称。

编辑目标索引

同步解决方案默认根据源端生成目标索引结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标索引时，将自动为源端字段匹配目标端可写入的字段类型。支持您单击Elasticsearch索引名列的目标索引名根据需求修改目标索引的相关参数。

• 动态映射状态：用于在同步数据时，是否将数据源表的新增字段添加至目标索引中。取值如下：

  • true：当映射的目标索引检测到同步的数据源表中存在新添加的字段时，会将该字段同步添加至目标索引中，后续该字段可以被搜索。该取值为默认值。

  • false：当映射的目标索引检测到同步的数据源表中存在新添加的字段时，会将该字段同步添加至目标索引中，但后续该字段不可以被搜索。

  • strict：当映射的目标索引检测到同步的数据源表中存在新添加的字段时，将拒绝同步该字段至目标索引并产生异常报错，您可以在日志信息中查看报错详情。

  更多动态映射的内容，详情请参见动态映射。

• shard数量及replica数量：索引的主分片及副本分片，用于将一个完整的索引分成多个分片，分布至不同的Elasticsearch节点上，构成分布式搜索，提升Elasticsearch的查询效率，详情请参见基本概念。

  说明

  shard数量及replica数量参数，配置运行后不可更改，默认取值为1。

• 分区设置：您可以选择同步的数据源表的某一列作为分区列，该参数需要和shard数量、replica数量配合使用。默认不开启分区功能。

  • 不开启分区：不填写该参数，默认使用文档的_id作为routing起到将文档均匀分布到多个分片上防止数据倾斜的作用。

  • 开启分区：把指定列的value指定为routing的值，在写入时，插入或更新指定shard中的doc。

• 数据字段结构：用于设置映射的目标索引中字段的类型及扩展属性，详情请参见Elasticsearch的字段类型。