数据集成支持任意位置、任意网络环境下的任意数据源之间的实时、离线数据互通。底层采用先进的分布式框架,包含完善的脏数据处理、流控管理等模块。支持多种类数据源,具有传输速度快、高度可靠、可扩展、开发方便等特点。
优点
-
支持异构数据源
支持超过400对异构数据源间的数据批量互导,如关系型数据库、半结构化存储、非结构化存储(音视频、图像)、NoSql、大数据存储等。 支持oracle、mysql、datahub等数据源的实时读取和写入。
-
大数据轻松上云
支持Hadoop集群批量上云。利用您的Hadoop计算集群同步传输集群内部HDFS文件,并写入MaxCompute。日传输数据量可达5TB,同步速率峰值可达到2GB/s。
-
定时任务调度
支持多时间维度(如年、月、天、小时、分钟)的任务定时调度。只需简单几步即可完成周期性数据增量抽取。另外,数据集成与DataWorks数据开发完美结合,数据导入后,即可触发执行后续的数据开发任务,使工作流运维一体化。
-
监控告警能力
系统内置19种监控规则,满足大部分监控场景需求。支持自定义规则配置告警规则。当任务出现错误时,通过您预定义方式通知您任务失败。
产品详情
-
数据源管理
通过提供抽象化的数据抽取插件(Reader)、数据写入插件(Writer)以及简化版的中间数据传输格式,实现任意结构化、半结构化数据源之间的数据传输。
-
本地数据采集
支持阿里云经典网络、专有网络(VPC)环境下的数据同步以及本地IDC网络环境下的数据采集。
-
整库迁移
提供批量创建同步任务的快捷工具,只需一步即可快速上传Mysql DB库所有表至MaxCompute 中,为您节省大量初始化批量任务的时间。
-
增量同步
通过where条件过滤业务日期,将不同业务日期的数据同步到对应的MaxCompute分区表中。您可以通过设置同步周期为1小时一次或10分钟同步一次来实现近实时的增量同步。