本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。
背景信息
ETL支持的转换组件如下:
表JOIN
字段计算器
表记录过滤
使用限制
ETL支持的转换组件存在如下限制:
表JOIN:仅支持两个表之间做JOIN操作。
字段计算器和表记录过滤:仅支持单个表结构。
前提条件
已完成数据源信息的配置。
配置表JOIN
进入ETL任务的列表页面。
登录数据传输服务DTS控制台。
在左侧导航栏,单击ETL。
单击左上角的,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式为DAG。
单击确认。
完成数据源信息的配置,配置方法请参见配置源库信息。
重要需要配置两个源库。
在页面左侧,将表 Join节点拖拽至页面右侧画布的空白区域。
将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表 Join-1。
单击画布区域的表 Join-1,根据页面信息配置转换组件。
在节点配置页签,设置以下参数,配置节点信息。
区域
参数
说明
转换名称
请输入转换名称
建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
Join配置
Join类型符左边的表
选择放置在Join类型符左边的表。
时态Join时间属性
选择Join的时间属性,默认为Join。
基于事件时间Watermark
基于处理时间ProcTime
说明时态Join要求流表均需定义时间属性,右表要有主键;如果右表是维表,要求其主键在equal条件中。
选择Join操作
选择Join操作方式。
Inner Join:数据为两张表的交集。
Left Join:左表中的数据不变,右表中的数据为两张表的交集。
Right Join:左表中的数据为两张表的交集,右表中的数据不变。
Join条件
+新增条件
单击+新增条件,从多个数据源中选择Join的条件字段。
说明等号(=)左侧为数据源左表字段,右侧为数据源右表字段。
完成Join条件配置后,单击输出字段页签。根据实际需要,在列名称列勾选需要的字段。
配置字段计算器
进入ETL任务的列表页面。
登录数据传输服务DTS控制台。
在左侧导航栏,单击ETL。
单击左上角的,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式为DAG。
单击确认。
完成数据源信息的配置,配置方法请参见配置源库信息。
在页面左侧,将字段计算器节点拖拽至页面右侧画布的空白区域。
将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和字段计算器-1。
单击画布区域的字段计算器-1,设置以下参数,配置转换组件。
在转换名称区域,输入转换名称。
说明建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
在计算器配置区域,单击+新增字段。
在计算器配置列表中,单击新增字段所在行操作列的计算配置。
在取值配置区域,设置以下参数。
参数
说明
字段名
DTS会自动生成一个名称,建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
选择ETL数据类型
选择需要的ETL数据类型。
目标字段:字段名,取值配置
选择以下任意一种方式为目标字段配置计算方法。
直接输入需要的计算方法。
单击字段输入、函数集或操作符区域中的选项配置计算方法。
配置表记录过滤
进入ETL任务的列表页面。
登录数据传输服务DTS控制台。
在左侧导航栏,单击ETL。
单击左上角的,在新增数据流对话框中,您需在数据流名称配置ETL任务名称,选择开发方式为DAG。
单击确认。
完成数据源信息的配置,配置方法请参见配置源库信息。
在页面左侧,将表记录过滤节点拖拽至页面右侧画布的空白区域。
将鼠标指针移动至已完成配置的目标数据源上,单击圆点拉出连接线,连接目标数据源和表记录过滤-1。
单击画布区域的表记录过滤-1,根据页面信息配置转换组件。
在转换名称右侧,输入转换名称。
说明建议配置具有业务意义的名称(无唯一性要求),便于后续识别。
在where条件区域,您可以选择以下任意一种方法配置where条件。
直接输入需要的where条件。
单击右侧字段输入或操作符区域中的选项配置where条件。
执行结果
完成配置的转换组件右侧不显示时,说明配置完成。