数据源及同步方案 - 大数据开发治理平台 DataWorks

在配置同步任务前，您需要在数据源管理页面配置好需要同步的数据源。数据集成目前支持MySQL、MaxCompute、Hologres、OSS、Kafka等几十种数据源，各数据源支持的同步方案及读写插件不同，您可以根据实际需求，在配置同步任务中的源端和目标端时选择合适的数据源。

支持的数据源及同步方案

数据集成包括离线同步、实时同步和全增量同步任务三个功能模块，您可以根据各模块对数据源的支持情况，选择对应的功能模块进行同步任务的配置。

DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer），以实现对数据源的读写操作。
DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。
DataWorks还为您提供多种数据源之间进行不同数据同步场景（整库离线同步、全增量实时同步）的同步。

说明

实时同步场景下，各数据源支持的DDL与DML处理策略，详情请参见：支持的DML及DDL操作。
具体任务配置与实现您可进入离线同步、实时同步、同步解决方案模块进行操作。

数据源	离线同步		实时同步				全增量同步任务
数据源	单表读	单表写	单表增量读	单表增量写	整库增量读	整库增量写	整库离线读	整库离线写	单表/整库全增量实时读	单表/整库全增量实时写
Amazon S3数据源		-	-	-	-	-	-	-	-	-
Amazon Redshift数据源			-	-	-	-	-	-	-	-
AnalyticDB for MySQL 2.0数据源			-	-	-	-		-	-	-
AnalyticDB for MySQL 3.0数据源			-		-			-	-
AnalyticDB for PostgreSQL数据源			-	-	-	-		-	-	-
ApsaraDB for OceanBase数据源			-	-		-	-	-		-
Azure Blob Storage数据源		-	-	-	-	-	-	-	-	-
BigQuery数据源		-	-	-	-	-	-	-	-	-
ClickHouse数据源			-	-	-	-	-	-	-	-
DataHub数据源					-		-	-	-
Data Lake Formation 2.0 数据源	-	-	-		-	-	-	-	-	-
DB2数据源			-	-	-	-		-	-	-
Doris数据源			-	-	-	-	-	-	-	-
DM（达梦）数据源			-	-	-	-		-	-	-
DRDS（PolarDB-X 1.0）数据源			-	-	-	-		-		-
Elasticsearch			-		-	-	-		-
FTP数据源			-	-	-	-	-	-	-	-
GBase8a			-	-	-	-	-	-	-	-
HBase	HBase Reader： HBase20xsql Reader：	HBase Writer： HBase 11xsql Writer：	-	-	-	-	-	-	-	-
HDFS数据源			-	-	-	-	-	-	-	-
Hive			-	-	-	-	-		-	-
Hologres数据源					-				-
HttpFile数据源		-	-	-	-	-	-	-	-	-
Kafka数据源					-		-	-	-
KingbaseES（人大金仓）数据源			-	-	-	-	-	-	-	-
Lindorm数据源			-	-	-	-	-	-	-	-
LogHub（SLS）数据源				-	-	-	-	-	-	-
MaxCompute数据源			-		-		-		-
MariaDB数据源			-	-	-	-	-	-	-	-
Maxgraph数据源	-		-	-	-	-	-	-	-	-
Memcache（OCS）数据源	-		-	-	-	-	-	-	-	-
MetaQ数据源		-	-	-	-	-	-	-	-	-
MongoDB数据源			-	-		-	-	-		-
MySQL数据源				-		-		-		-
OpenSearch数据源	-		-	-	-	-	-	-	-	-
Oracle数据源			-	-	-	-		-		-
OSS数据源			-		-		-		-	-
OSS-HDFS数据源			-		-		-	-	-	-
PolarDB数据源				-		-		-		-
PolarDB-X 2.0数据源			-	-	-	-		-		-
PostgreSQL数据源			-	-	-	-		-		-
Redis数据源	-		-	-	-	-	-	-	-	-
RestAPI（HTTP形式）数据源			-	-	-	-	-	-	-	-
Salesforce数据源		-	-	-	-	-	-	-	-	-
SAP HANA数据源			-	-	-	-	-	-	-	-
Sensors Data（神策）数据源	-		-	-	-	-	-	-	-	-
StarRocks数据源			-	-	-		-		-	-
SQL Server数据源			-	-	-	-		-	-	-
Tablestore数据源			-	-	-	-	-	-	-	-
Tablestore Stream数据源		-	-	-	-	-	-	-	-	-
TiDB数据源		-	-	-	-	-	-	-	-	-
TSDB数据源	-		-	-	-	-	-	-	-	-
Vertica			-	-	-	-	-	-	-	-