DataWorks：即時同步能力說明

功能

描述

多種資料來源間的資料同步

即時同步支援多種資料來源星型鏈路組合，您可以將多種輸入及輸出資料來源搭配組成同步鏈路進行資料同步。詳情請參見即時同步支援的資料來源。

複雜網路環境下的資料同步

支援雲資料庫、本地IDC、ECS自建資料庫或非阿里雲資料庫等環境下的資料同步。您可以根據資料庫所在網路環境，選擇合適的同步解決方案來實現資料來源與資源群組的網路連通。在配置同步任務前，您需要確保Data Integration資源群組與您將同步的資料來源端與目標端網路環境已經連通，對應資料庫環境與網路連通配置詳情請參見：配置資源群組與網路連通。

資料同步情境

即時同步支援單表即時增量資料同步至目標端單表、分庫分表即時增量資料同步至目標端單表、整庫（多表）即時增量資料同步至目標多表。

• 單表增量資料即時同步：支援單表ETL即時同步。

• 整庫增量資料即時同步：

  • 支援將整個資料庫的變化日誌同步到目標端中，一般用作純即時日誌的收集。

  • 支援一次性配置一個執行個體下多個庫的多個表，一個任務中最多支援3000個目標表。

即時同步任務配置

即時同步任務配置時支援的能力如下，您無需編寫代碼，通過簡單的任務配置即可實現單表ETL即時同步，整庫即時資料的收集。詳情請參見：配置單表即時同步任務、配置整庫即時同步任務。

• 單表增量資料即時同步：

  • 支援圖形化開發。無需編寫代碼，直接通過拖拽的方式即可進行任務的開發，業務新手也能夠輕鬆上手。

  • 單表ETL即時同步。您可以對輸入的資料來源進行資料過濾、字串替換和資料脫敏處理，再將處理後的資料輸出至目標資料庫。

    • 資料過濾：可以對資料進行規則過濾，例如過濾欄位的大小等，符合規則的資料才會被保留。

    • 字串替換：可以通過字串替換節點替換字串類型的欄位。

    • 資料脫敏：可以對即時同步的單表資料進行脫敏，將脫敏後的資料輸出至目標資料庫。

• 整庫增量資料即時同步：

  • 自訂目標schema名或表名

    即時同步預設將增量資料寫入到目標端的同名schema或同名表中，如果schema或表不存在，將預設建立，並支援您自訂目標schema或表名。

  • 為目標欄位賦值

    即時同步預設同名映射，將源端欄位寫入目標端同名欄位中，未映射成功的欄位將無法同步。同時，支援您為目標表新增欄位並為欄位賦值常量或變數。

    說明

    Data Integration即時同步在同步MySQL、Oracle、Loghub和PolarDB類型的資料至DataHub或Kafka時，會在同步的目標端添加5個附加列，以便進行中繼資料管理、排序、去重等操作。詳情請參見即時同步欄位格式。

  • 定義DDL/DML訊息處理策略

    來來源資料源會包含許多DDL操作，進行即時同步時，您可以根據業務需求，對不同的DDL訊息設定同步至目標端的處理策略。

    說明

    關於即時同步各目標端支援的DML與DDL操作詳情請參見：支援的DML及DDL操作。

即時同步任務營運

• 支援對同步任務設定監控警示

  • 支援斷點續傳。

  • 支援對業務延遲、Failover、DDL策略、心跳檢查設定監控警示。詳情請參見：即時同步任務營運。

  • 並通過郵件、簡訊、電話和DingTalk等方式將警示資訊發送給警示接收人，方便您及時發現並處理任務異常。

  • 支援警示疲勞度控制。為了避免短時間內產生大量警示，DataWorks支援您設定當前規則在指定時間間隔內只發送一次警示資訊。

• 支援定義髒資料及對任務的影響

  • 當不允許髒資料產生時，則同步任務執行過程中如果產生髒資料，任務將失敗退出。

  • 當允許髒資料並設定其閾值時，同步任務將忽略髒資料（即不會寫入目標端），並正常執行。

  說明

  髒資料相關介紹詳情請參見：基本概念。