数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具 。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率,丰富企业实时数据处理和计算场景,赋能企业数字化转型。
为什么选择ETL
ETL支持通过DAG模式和Flink SQL模式配置任务。
DAG模式
可视化处理编辑:ETL任务界面当前提供三种组件(输入/维表、转换、输出),简单拖拽组件即可快速搭建流处理任务。
丰富的开发组件:
输入/维表组件(即源库)支持自建MySQL、RDS MySQL、PolarDB MySQL版、PolarDB-X 1.0(原DRDS)、自建Oracle、自建PostgreSQL、RDS PostgreSQL、Db2 for LUW、Db2 for i、PolarDB PostgreSQL版。
转换组件目前支持表JOIN、90多种函数计算和字段过滤。
输出组件(即目标库)当前支持自建MySQL、RDS MySQL、PolarDB MySQL版、云原生数据仓库AnalyticDB MySQL版 3.0、自建Oracle、自建PostgreSQL、RDS PostgreSQL、Db2 for LUW、Db2 for i、PolarDB PostgreSQL版。
Flink SQL模式
ETL支持使用Flink SQL语言(符合标准SQL语义的开发语言)配置任务。
行业领先的计算时效:通过DTS强大的数据库流式数据采集能力,ETL既能保障数据的准确性,同时还具备行业领先的计算实效性。
灵活的任务监控与管理:ETL提供任务列表页供您进行任务监控和管理,能够对已经搭建的任务进行启停、查看详情等操作。
应用场景
多地域或异构数据实时集中:将多地域或者异构数据实时存储至同一数据库中,便于企业中心化高效管理及决策支持。
实时数据集成:ETL强大的流式数据转换处理能力大幅提升数据集成效率,低代码的开发方式也进一步降低了数据集成的难度和成本,让企业专注于数据价值实现。
实时数据仓库:行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。
离线数仓加速:通过流数据处理先将数据预处理至数仓,后续再对数仓数据进行深度挖掘。既不影响业务库运行,也能满足离线数仓对外服务。
报表提速:构建实时报表体系,不仅大幅提升报表产出效率,还能支持更多实时分析场景,满足了企业数字化转型阶段对报表产出效率的高要求。
实时计算场景:对业务侧产生的流数据实时清洗处理,形成特征值、标签支持在线业务计算模型(画像、风控、推荐等)或实时大屏等流计算场景。
优惠活动
通过DAG和Flink SQL模式配置ETL任务的功能即将下线,仅部分用户可以免费体验,未曾使用过该功能的用户已无法体验,建议您在同步或迁移实例中配置ETL任务。更多信息,请参见在DTS迁移或同步任务中配置ETL。
每个账号可以免费创建两个ETL实例,且每个实例在公测期间均免费使用。
公测结束后,继续运行的实例将开始收费。公测结束时间将会提前以公告、短信等方式进行通知。