在配置同步任務前,您需要在資料來源管理頁面配置好需要同步的資料來源。Data Integration目前支援MySQL、MaxCompute、Hologres、OSS、Kafka等幾十種資料來源,各資料來源支援的同步方案及讀寫外掛程式不同,您可以根據實際需求,在配置同步任務中的源端和目標端時選擇合適的資料來源。
支援的資料來源及同步方案
Data Integration包括離線同步、即時同步和全增量同步處理任務三個功能模組,您可以根據各模組對資料來源的支援情況,選擇對應的功能模組進行同步任務的配置。
DataWorks離線同步為您提供資料讀取(Reader)和寫入外掛程式(Writer),以實現對資料來源的讀寫操作。
DataWorks即時同步支援您將多種輸入及輸出資料來源搭配組成同步鏈路進行單表或整庫資料的即時增量同步處理。
DataWorks還為您提供多種資料來源之間進行不同資料同步情境(整庫離線同步、全增量即時同步)的同步。
即時同步情境下,各資料來源支援的DDL與DML處理策略,詳情請參見:支援的DML及DDL操作。
資料來源 | 離線同步 | 即時同步 | 全增量同步處理任務 | |||||||
單表讀 | 單表寫 | 單表增量讀 | 單表增量寫 | 整庫增量讀 | 整庫增量寫 | 整庫離線讀 | 整庫離線寫 | 單表/整庫全增量即時讀 | 單表/整庫全增量即時寫 | |
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | |||||
Elasticsearch | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | |||
GBase8a | - | - | - | - | - | - | - | - | ||
HBase |
|
| - | - | - | - | - | - | - | - |
- | - | - | - | - | - | - | - | |||
Hive | - | - | - | - | - | - | - | |||
- | - | |||||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
Vertica | - | - | - | - | - | - | - | - |