本文為您介紹配置資料移轉或資料同步任務時,如何自訂配置增量同步處理中的 DDL 和 DML 同步。
背景資訊
您在配置資料移轉或資料同步任務時,如果在 選擇遷移類型 或 選擇同步類型 步驟選擇了 增量同步處理,則會預設支援 DML 同步,您可以自訂配置 DML 或 DDL。
DML 同步:配置資料移轉或資料同步任務時,您可以對需要同步的 DML SQL 陳述式設定同步策略,只有符合設定條件的 SQL 陳述式才會被同步至目標端。該功能常用於歷史表和交易明細表情境。
DDL 同步:配置資料移轉或資料同步任務時,您可以設定是否同步 DDL。只有設定同步 DDL 後,CREATE、ALTER、DROP 或 TRUNCATE TABLE 等 DDL 語句才會被同步至目標端。該功能常用於長期的資料移轉、資料同步任務,可以顯著降低任務營運的成本。
使用限制
DML 同步
DML 過濾的作用範圍為整個資料移轉或資料同步任務。
不支援對選擇 DML 過濾的資料移轉任務進行全量資料校正。
DDL 同步
除支援的增量 DDL 類型外,其它類型均不支援。
如果需要同步的表涉及不支援的 DDL 類型,資料移轉或資料同步任務可能會中斷並造成資料問題,且無法恢複。
請勿在結構遷移/結構同步、全量遷移/全量同步階段執行庫或者表結構變更的 DDL 操作,否則可能導致資料移轉或資料同步任務中斷。
操作步驟
將資料移轉或資料同步任務配置至 選擇遷移類型 或 選擇同步類型 步驟。
在 選擇遷移類型 或 選擇同步類型 頁面,勾選 增量同步處理,DML 同步處於預設勾選狀態。
單擊 自訂配置 DDL/DML。
在 自訂配置 DDL/DML 對話方塊,選擇需要同步的 DML 或 DDL。
通常 DML 同步支援
insert
、delete
和update
,您可以根據需要進行過濾。不同類型的資料移轉或資料同步任務 DDL 同步支援的範圍請參見 DDL 同步範圍,您可以根據支援的 DDL 同步範圍來自訂配置 DDL。遷移 Lindorm 或 HBase 資料庫的資料至 OBKV 時,DML 同步支援
delete
和put
。當您選擇 增量同步處理 > DML 同步 時,請聯絡阿里雲支援人員,確認投遞到 Kafka 的資料具備有序性,否則可能出現資料不一致的風險。Lindorm 的詳情請參見《即時資料訂閱概述》中的 使用限制,HBase 增強版的詳情請參見 Streams(即時資料訂閱)功能介紹。
在 自訂配置 DDL/DML 對話方塊,單擊 確定。
在 選擇遷移類型 或 選擇同步類型 頁面,單擊 下一步,根據提示完成後續的任務配置。