全部產品

Data Transmission Service：Data Integration調度策略說明

更新時間：Jul 06, 2024

DTS的Data Integration功能可根據調度策略的配置，定期地將源庫中的結構和存量資料移轉至目標庫中。通過該功能可以協助您構建更加靈活的資料倉儲（例如構建T+1的周期性數倉），本文介紹Data Integration的策略、限制及適用情境。

支援的資料庫

支援全量資料移轉的資料來源均支援Data Integration功能，詳情請參見遷移方案概覽。

費用說明

遷移類型	鏈路配置費用	公網流量費用
結構遷移和全量資料移轉	不收費。	通過公網將資料移轉出阿里雲時將收費，詳情請參見計費概述。

配置方法

您需要在配置Data Integration任務的設定遷移類型及列表環節中，為Data Integration任務配置調度策略。

說明相關配置案例，請參見配置RDS MySQL間的Data Integration任務。

調度策略說明

調度策略	說明	適用情境
多副本模式	DTS根據調度周期，自動地將源庫中待遷移對象的結構和存量資料移轉至目標庫中。說明 DTS每次調度時，會自動地在目標執行個體中建立一個帶有任務調度時間尾碼（格式為`_yyyymmdd_HH_mm_ss`）的資料庫，用於接收遷移的資料。例如待遷移的資料庫為dtstestdata，任務調度時間為2020年02月10日的11:00:00，那麼DTS在該時間執行遷移時，在目標庫中建立的庫名即為`dtstestdata_20200210_11_00_00`。目標庫需具備充足的儲存空間用於存放每個周期DTS遷移過來的資料。	適用於某些測試情境，例如對多個副本歷史資料執行測試操作。
重新同步模式	在第一個調度時間點，DTS自動地將待遷移對象的結構和存量資料移轉至目標庫中；在後續的調度時間點，DTS會重新將待遷移對象的結構和存量資料移轉至目標庫中。警告在每次的調度時間點到來之前，您需要手動刪除上個調度時間點遷移到目標庫中的結構和資料（即刪除遷移過來的庫和表），否則將會導致資料移轉失敗。如果DTS對該資料來源不支援結構遷移，您還需要對照待遷移對象的結構在目標庫中建立對應的結構。	在目標庫中僅保持一份最新的存量資料用於測試或資料分析。
基於時間戳記的增量模式	DTS會根據時間戳記欄位，將上次調度後產生的新資料移轉至目標庫。該策略存在如下限制：當源和目標執行個體均為MySQL資料庫時，才支援該策略。源表須具備時間戳記欄位，且需在配置資料移轉任務時指定每個表的時間戳記欄位。源表不能存在外鍵約束，否則可能導致資料移轉失敗（可能在目標庫中先更新有外鍵約束的子表，後更新附表，導致子表插入新資料報錯）。無法遷移被物理刪除的資料（例如通過DELETE、TRUNCATE命令刪除）。說明如果存在無主鍵的表，DTS會將整條記錄作為主鍵進行全欄位匹配，然後刪除舊資料並插入新資料。新增的資料在寫入目標庫時，如果遇到主鍵衝突，DTS將執行REPLACE INTO來插入新資料。	適用於輕量級的資料移轉情境（無需每次遷移所有的存量資料），例如構建T+1的周期性數倉。