Data Integration包括離線同步、即時同步和同步解決方案三個功能模組。選擇使用哪個功能模組,您需考慮要進行的資料同步是離線還是即時、增量還是全量等,不同模組的支援情況不同,此外還需要重點關註:資料的來源與去向、待同步的表或庫的數量等。本文為您概要介紹Data Integration各模組的支援情況及核心參考維度。
選擇前瞭解:Data Integration各模組能力
Data Integration各功能模組對離線與即時、增量與全量、表與庫的數量的概要支援情況如下,您可參考下表過濾選擇當前資料同步情境下可用的Data Integration模組,後續再參考下文的核心參考維度(支援的資料來源與讀寫能力、支援同步的庫或表的個數)選擇具體的功能模組來配置同步任務。
維度 | 離線同步模組 | 即時同步模組 | 同步解決方案模組(整庫離線同步) | 同步解決方案模組(全增量即時同步) | |
維度1:離線與即時 | 離線 | √ | × | √ | √ |
即時 | × | √ | × | ||
維度2:增量與全量 | 全量 | √ | × | √(一次性全量同步、周期性全量同步、離線全增量同步處理) | √(一次性全量同步,即時增量同步處理) |
增量 | √ | √ | √(一次性增量同步處理、周期性增量同步處理) | ||
維度3:表與庫的數量 | 單表 (單表>單表) | √ | √ | × | √ |
整庫 (多表>多表) | × | √ | √ | √ | |
分庫分表 (多表>單表) 說明 部分資料來源支援分庫分表。 | √ | √ | × | √ | |
維度4:支援的來源與去向資料來源 | DataWorks為您提供資料讀取(Reader)和寫入外掛程式(Writer)實現對資料來源的讀寫操作,支援的資料來源詳情請參見:支援的資料來源與讀寫外掛程式。 | 支援您將多種輸入及輸出資料來源搭配組成同步鏈路進行資料同步。支援的資料來源詳情請參見:即時同步支援的資料來源。 | DataWorks為您提供多種資料來源之間進行不同資料同步情境的同步解決方案。支援的資料來源詳情請參見:支援的資料來源及同步方案。 | ||
功能介紹文檔 | 離線同步能力說明 | 即時同步能力說明 | 同步解決方案能力說明 |
說明
- 即時全增量同步處理:一次性同步全量資料,然後即時同步增量資料至目標端。
首次將源端單表或多表全量資料寫入目標單表或多表某一指定分區,之後增量資料與全量資料合併後即時寫入表對應分區中。
- 離線全增量同步處理:一次性同步全量資料,然後周期性同步增量資料至目標端。
首次將源端多表全量資料全量寫入目標單表或多表某一指定分區,之後增量資料周期性寫入表對應分區中。
核心參考維度
您可以從以下核心維度選擇對應的Data Integration模組進行同步任務的配置。
- 支援的資料來源及同步方案維度:
進行同步任務配置時,您可以先根據需要同步的來源與去向資料來源,及DataWorks各模組對資料來源的支援情況,選擇對應的功能模組進行同步任務的配置。
說明 在即時同步情境下,你還需要瞭解寫入的目標資料來源,對源端DDL和DML操作的支援情況。詳情請參見支援的DML及DDL操作。 - 支援同步的庫或表個數維度:
您還可以根據源端待同步的庫個數、表個數與需要寫入目標端的表個數,選擇對應的功能模組進行同步任務的配置。
附錄:各模組寫入表分區說明
- 離線同步
增量資料同步情境下,您可以通過營運中心的補資料功能,將歷史資料寫入目標表的對應時間分區中。詳情請參見:情境:配置增量資料離線同步任務。
- 即時同步:源表增量資料即時寫入目標表T-1分區。
- 同步解決方案
同步方案 資料寫入說明 離線全增量同步處理 - 任務配置當天T,源表全量資料一次性寫入目標表T-1分區。
- 任務配置第T+N天,源表增量資料周期性寫入目標表T+N-1分區。
即時全增量同步處理 - 任務配置當天T,源表全量資料一次性寫入目標表T-1分區,源表增量資料與全量資料合併後即時寫入目標表T-1分區。
- 任務配置第T+N天,源表增量資料與全量資料合併後即時寫入表T+N-1分區。
說明 一鍵即時同步至MaxCompute情境下,任務配置當天會將資料寫入增量Log表,待第二天再將源表增量資料合併寫入全量表中。周期性全量同步 源表全量資料周期性寫入目標表T-1分區。 一次性全量同步 任務配置當天T,源表全量資料一次性寫入目標表T-1分區。 周期性增量同步處理 源表增量資料周期性寫入目標表T-1分區。 一次性增量同步處理 任務配置當天T,源表增量資料一次性寫入目標表T-1分區。