离线同步能力说明

功能

描述

异构数据源间的数据同步

数据集成目前支持40+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、半结构化数据源之间数据传输。详情请参见：支持的数据源及同步方案。

复杂网络环境下的数据同步

离线同步支持云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：网络连通方案。

数据同步场景

离线同步支持单表同步至目标端单表、分库分表同步至目标端单表两类同步场景。同时，结合DataWorks调度参数，实现增量数据和全量数据周期性写入到目标表对应分区功能。离线同步任务使用调度参数，再结合运维中心补数据功能，可实现基于一套任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或表指定分区。调度参数说明请参见：调度参数支持的格式。

离线同步任务配置

您可以通过以下方式配置数据集成离线同步任务。

• 向导模式：提供向导式的开发引导，通过可视化的填写和下一步的引导，助您快速完成数据同步任务的配置工作。向导模式的学习成本低，但无法支持部分高级功能。详情请参见：通过向导模式配置离线同步任务。

• 脚本模式：提供脚本式的开发引导，通过直接编写数据同步的JSON脚本来完成数据同步开发，适合高级用户，学习成本较高。脚本模式可以提供更丰富灵活的能力，实现精细化的配置管理。详情请参见：通过脚本模式配置离线同步任务。

• API创建：您还可以通过OpenAPI调用相关接口，创建数据同步任务，同步来源端数据至目标端。详情请参见：通过OpenAPI创建、修改、删除离线同步任务。

离线同步任务运维

• 任务运行状态监控：支持对离线同步任务的运行状态进行监控，包括任务未完成、出错、完成等场景的监控报警，并且支持通过邮件、短信、电话、钉钉群机器人和WebHook等多种报警方式将报警信息发送给报警接收人。详情请参见：规则管理。

• 表数据质量监控：支持对同步后的数据进行数据质量监控，目前仅部分数据库类型支持配置数据质量监控规则。详情请参见：数据质量概述。

• 开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境的数据源，提交生产运行时会使用生产环境的数据源。您可以通过数据源隔离使其在不同环境隔离使用。