您可以通过交互式分析Hologres的实时写入能力,构建实时数仓。
前提条件
配置Hologres输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见实时同步支持的数据源。
背景信息
Hologres支持的版本:0.7、0.8、0.9、0.10、1.1。
字段使用限制:不支持UUID类型的字段。
操作步骤
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
鼠标悬停至图标,单击 。
您也可以展开业务流程,右键单击目标业务流程,选择
。在新建节点对话框中,选择同步方式为单表(Topic)到单表(Topic)ETL,输入名称,并选择路径。
单击确认。
在实时同步节点的编辑页面,单击 并拖拽至编辑面板,连线已配置好的输入或转换节点。
单击Hologres节点,在节点配置对话框中,配置各项参数。
参数
描述
数据源
选择已经配置好的Hologres数据源,此处仅支持Hologres数据源。
如果您未配置数据源,请单击右侧的新建数据源,进入配置Hologres数据源。
页面进行新建,详情请参见表
选择当前数据源下需要同步的数据表名称。
您可以单击右侧的一键建表新建数据表,也可以单击数据预览进行确认。
动态时间分区
当Hologres表为分区表时,您需要设置动态时间分区。
该动态时间分区会解析来源映射字段的数据值,根据yyyymmddhhmmss的格式解析。解析后,您可以在目标表中使用变量拼凑为字符串格式的动态分区。来源值不同,最终的目标分区也不同。
例如,来源数据为20200816,目标分区格式为{yyyy}-{mm}-{dd},则最终写入的目标分区为2020-08-16。
作业类型
包括重放和插入两种类型:
重放表示镜像功能。即源端
INSERT
一条记录,Hologres中同样INSERT
一条数据。源端进行UPDATE
或DELETE
操作,Hologres会执行相应的UPDATE
或DELETE
操作。插入表示将Hologres作为流存储,通过
INSERT
保存源端同步过来的数据。
写入冲突策略
包括覆盖和忽略两种类型:
覆盖:使用源端同步过来的新数据覆盖已有的数据。
忽略:忽略源端同步过来的新数据,保留已有的数据。
字段映射
单击字段映射,设置源端和目标端字段的映射。同步任务会根据字段的映射关系同步数据。
单击工具栏中的图标。