全部產品
Search
文件中心

:選擇同步方案概述

更新時間:Jun 19, 2024

Data Integration包括離線同步即時同步同步解決方案三個功能模組。選擇使用哪個功能模組,您需考慮要進行的資料同步是離線還是即時、增量還是全量等,不同模組的支援情況不同,此外還需要重點關註:資料的來源與去向、待同步的表或庫的數量等。本文為您概要介紹Data Integration各模組的支援情況及核心參考維度。

選擇前瞭解:Data Integration各模組能力

Data Integration各功能模組對離線與即時、增量與全量、表與庫的數量的概要支援情況如下,您可參考下表過濾選擇當前資料同步情境下可用的Data Integration模組,後續再參考下文的核心參考維度(支援的資料來源與讀寫能力、支援同步的庫或表的個數)選擇具體的功能模組來配置同步任務。

維度離線同步模組即時同步模組同步解決方案模組(整庫離線同步)同步解決方案模組(全增量即時同步)
維度1:離線與即時離線×
即時××
維度2:增量與全量全量×√(一次性全量同步、周期性全量同步、離線全增量同步處理)√(一次性全量同步,即時增量同步處理)
增量√(一次性增量同步處理、周期性增量同步處理)
維度3:表與庫的數量單表 (單表>單表)×
整庫 (多表>多表)×
分庫分表 (多表>單表)
說明 部分資料來源支援分庫分表。
×
維度4:支援的來源與去向資料來源DataWorks為您提供資料讀取(Reader)和寫入外掛程式(Writer)實現對資料來源的讀寫操作,支援的資料來源詳情請參見:支援的資料來源與讀寫外掛程式支援您將多種輸入及輸出資料來源搭配組成同步鏈路進行資料同步。支援的資料來源詳情請參見:即時同步支援的資料來源DataWorks為您提供多種資料來源之間進行不同資料同步情境的同步解決方案。支援的資料來源詳情請參見:支援的資料來源及同步方案
功能介紹文檔離線同步能力說明即時同步能力說明同步解決方案能力說明
說明
  • 即時全增量同步處理:一次性同步全量資料,然後即時同步增量資料至目標端。

    首次將源端單表或多表全量資料寫入目標單表或多表某一指定分區,之後增量資料與全量資料合併後即時寫入表對應分區中。

  • 離線全增量同步處理:一次性同步全量資料,然後周期性同步增量資料至目標端。

    首次將源端多表全量資料全量寫入目標單表或多表某一指定分區,之後增量資料周期性寫入表對應分區中。

核心參考維度

您可以從以下核心維度選擇對應的Data Integration模組進行同步任務的配置。

  • 支援的資料來源及同步方案維度:

    進行同步任務配置時,您可以先根據需要同步的來源與去向資料來源,及DataWorks各模組對資料來源的支援情況,選擇對應的功能模組進行同步任務的配置。

    說明 在即時同步情境下,你還需要瞭解寫入的目標資料來源,對源端DDL和DML操作的支援情況。詳情請參見支援的DML及DDL操作
  • 支援同步的庫或表個數維度:

    您還可以根據源端待同步的庫個數、表個數與需要寫入目標端的表個數,選擇對應的功能模組進行同步任務的配置。

附錄:各模組寫入表分區說明

  • 離線同步

    增量資料同步情境下,您可以通過營運中心的補資料功能,將歷史資料寫入目標表的對應時間分區中。詳情請參見:情境:配置增量資料離線同步任務

  • 即時同步:源表增量資料即時寫入目標表T-1分區。
  • 同步解決方案
    同步方案資料寫入說明
    離線全增量同步處理
    1. 任務配置當天T,源表全量資料一次性寫入目標表T-1分區。
    2. 任務配置第T+N天,源表增量資料周期性寫入目標表T+N-1分區。
    即時全增量同步處理
    1. 任務配置當天T,源表全量資料一次性寫入目標表T-1分區,源表增量資料與全量資料合併後即時寫入目標表T-1分區。
    2. 任務配置第T+N天,源表增量資料與全量資料合併後即時寫入表T+N-1分區。
    說明 一鍵即時同步至MaxCompute情境下,任務配置當天會將資料寫入增量Log表,待第二天再將源表增量資料合併寫入全量表中。一鍵即時同步
    周期性全量同步源表全量資料周期性寫入目標表T-1分區。
    一次性全量同步任務配置當天T,源表全量資料一次性寫入目標表T-1分區。
    周期性增量同步處理源表增量資料周期性寫入目標表T-1分區。
    一次性增量同步處理任務配置當天T,源表增量資料一次性寫入目標表T-1分區。