All Products
Search
Document Center

DataWorks:Supported data source types and synchronization operations

Last Updated:Sep 03, 2024

Before you configure a data synchronization task, you must configure the data source from which you want to read data and the data source to which you want to write data on the Data Source page. Data Integration supports dozens of data source types, such as MySQL, MaxCompute, Hologres, Object Storage Service (OSS), and Kafka. The synchronization operations that you can perform vary based on the data source type. You can select appropriate data sources when you configure the source and destination of a synchronization task based on your business requirements.

Supported data source types and synchronization operations

DataWorks Data Integration provides the batch synchronization feature, real-time synchronization feature, and full and incremental synchronization feature. You can determine the feature that you need to use to configure a synchronization task based on the data source types supported by the features.

  • The batch synchronization feature provides readers and writers for you to read data from and write data to data sources.

  • The real-time synchronization feature allows you to configure a real-time synchronization task by using different data sources to synchronize incremental data from a single table or all tables in a database in real time.

  • The full and incremental synchronization feature allows you to create synchronization tasks that are used to synchronize data between different data sources in various scenarios, such as batch synchronization of all data in a database, and one-time full synchronization and real-time incremental synchronization.

Note

Data source type

Batch synchronization

Real-time synchronization

Full and incremental synchronization

Read data from a single table

Write data of a single table to a destination

Read incremental data from a single table

Write incremental data of a single table to a destination

Read incremental data from all tables in a database

Write incremental data of all tables in a database to a destination

Read data from all tables in a database in offline mode

Write data of all tables in a database to a destination in offline mode

Read full data at a time and incremental data in real time from a table or all tables in a database

Write full data and incremental data of a table or all tables in a database to a destination

Amazon S3 data source

支持

-

-

-

-

-

-

-

-

-

Amazon Redshift data source

支持

支持

-

-

-

-

-

-

-

-

AnalyticDB for MySQL V2.0 data source

支持

支持

-

-

-

-

支持

-

-

-

AnalyticDB for MySQL V3.0 data source

支持

支持

-

支持

-

支持

支持

-

-

支持

AnalyticDB for PostgreSQL data source

支持

支持

-

-

-

-

支持

-

-

-

ApsaraDB for OceanBase data source

支持

支持

-

-

支持

-

-

-

支持

-

Azure Blob Storage data source

支持

-

-

-

-

-

-

-

-

-

BigQuery data source

支持

-

-

-

-

-

-

-

-

-

ClickHouse data source

支持

支持

-

-

-

-

-

-

-

-

DataHub data source

支持

支持

支持

支持

-

支持

-

-

-

支持

Db2 data source

支持

支持

-

-

-

-

支持

-

-

-

Doris data source

支持

支持

-

-

-

-

-

-

-

-

DM data source

支持

支持

-

-

-

-

支持

-

-

-

PolarDB-X 1.0 data source

支持

支持

-

-

-

-

支持

-

支持

-

Elasticsearch data source

支持

支持

-

支持

-

-

-

支持

-

支持

FTP data source

支持

支持

-

-

-

-

-

-

-

-

GBase8a data source

支持

支持

-

-

-

-

-

-

-

-

HBase data source

  • HBase Reader: 支持

  • HBase20xsql Reader: 支持

  • HBase Writer: 支持

  • HBase 11xsql Writer: 支持

-

-

-

-

-

-

-

-

HDFS data source

支持

支持

-

-

-

-

-

-

-

-

Hive data source

支持

支持

-

-

-

-

-

支持

-

-

Hologres data source

支持

支持

支持

支持

-

支持

支持

支持

-

支持

HttpFile data source

支持

-

-

-

-

-

-

-

-

-

HybridDB for MySQL data source

支持

支持

-

-

-

-

支持

-

-

-

Kafka data source

支持

支持

支持

支持

-

支持

-

-

-

支持

KingbaseES data source

支持

支持

-

-

-

-

-

-

-

-

Lindorm data source

支持

支持

-

-

-

-

-

-

-

-

LogHub data source

支持

支持

支持

-

-

-

-

-

-

-

MaxCompute data source

支持

支持

-

支持

-

支持

-

支持

-

支持

MariaDB data source

支持

支持

-

-

-

-

-

-

-

-

Maxgraph data source

-

支持

-

-

-

-

-

-

-

-

Memcache data source

-

支持

-

-

-

-

-

-

-

-

MetaQ data source

支持

-

-

-

-

-

-

-

-

-

MongoDB data source

支持

支持

-

-

支持

-

-

-

支持

-

MySQL data source

支持

支持

支持

-

支持

-

支持

-

支持

-

OpenSearch data source

-

支持

-

-

-

-

-

-

-

-

Oracle data source

支持

支持

-

-

-

-

支持

-

支持

-

OSS data source

支持

支持

-

支持

-

支持

-

支持

-

-

OSS-HDFS data source

支持

支持

-

支持

-

支持

-

-

-

-

PolarDB data source

支持

支持

支持

-

支持

-

支持

-

支持

-

PolarDB-X 2.0 data source

支持

支持

-

-

-

-

支持

-

支持

-

PostgreSQL data source

支持

支持

-

-

-

-

支持

-

支持

-

Redis data source

-

支持

-

-

-

-

-

-

-

-

RestAPI data source

支持

支持

-

-

-

-

-

-

-

-

Salesforce data source

支持

-

-

-

-

-

-

-

-

-

SAP HANA data source

支持

支持

-

-

-

-

-

-

-

-

StarRocks data source

支持

支持

-

-

-

支持

-

支持

-

-

SQL Server data source

支持

支持

-

-

-

-

支持

-

-

-

Tablestore data source

支持

支持

-

-

-

-

-

-

-

-

Tablestore Stream data source

支持

-

-

-

-

-

-

-

-

-

TSDB data source

-

支持

-

-

-

-

-

-

-

-

Vertica data source

支持

支持

-

-

-

-

-

-

-

-