使用DTS實現RDS MySQL執行個體間雙向同步 - Data Transmission Service

Data Transmission Service支援兩個MySQL資料庫之間（比如RDS MySQL、自建MySQL）的雙向資料即時同步，適用於異地多活（單元化）、資料異地容災等多種應用情境。本文以RDS MySQL執行個體為例，介紹雙向資料同步的配置步驟，其他資料來源的配置流程與本案例類似。

前提條件

資料同步的源和目標RDS MySQL執行個體已存在，如不存在請建立RDS執行個體。

注意事項

DTS在執行全量資料初始化時將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升，在資料庫效能較差、規格較低或業務量較大的情況下（例如源庫有大量慢SQL、存在無主鍵表或目標庫存在死結等），可能會加重資料庫壓力，甚至導致資料庫服務不可用。因此您需要在執行資料同步前評估源庫和目標庫的效能，同時建議您在業務低峰期執行資料同步（例如源庫和目標庫的CPU負載在30%以下）。
資料同步時，請勿對源庫的同步對象使用gh-ost或pt-online-schema-change等類似工具執行線上DDL變更，否則會導致同步失敗。
如果除DTS以外的資料沒有寫入目標庫，您可以使用Data Management（Data Management）來執行線上DDL變更，詳情請參見不鎖表結構變更。
目標庫為RDS MySQL執行個體時（除5.7和8.0版本外），DTS會在目標庫建立一個有寫入許可權且僅供DTS內部使用的資料同步帳號dtssyncwriter。
雙向同步執行個體包含正向和反向同步任務，在配置或重設雙向同步執行個體時，若其中一個任務的目標對象是另一個任務待同步的對象：
- 僅允許其中一個任務同步全量和增量資料，另一個任務僅支援同步增量資料。
- 當前任務的來源資料僅支援同步到當前任務的目標端，同步過來的資料不會作為另一個任務的來源資料繼續同步。

費用說明

同步類型	鏈路配置費用
庫表結構同步和全量資料同步	不收費。
增量資料同步	收費，詳情請參見計費概述。

支援的同步架構

目前DTS僅支援兩個MySQL資料庫之間的雙向同步，暫不支援多個MySQL資料庫之間的雙向同步。

雙向資料同步架構

支援的資料來源

MySQL間的雙向資料同步支援以下資料來源，本文以RDS MySQL執行個體為資料來源介紹配置流程，其他資料來源的配置流程與該案例類似。

同步來源資料庫	同步目的資料庫
RDS MySQL執行個體 ECS上的自建資料庫通過專線、VPN網關或智能網關接入的自建資料庫通過資料庫網關接入的自建資料庫通過雲企業網CEN接入的自建資料庫	RDS MySQL執行個體 ECS上的自建資料庫通過專線、VPN網關或智能網關接入的自建資料庫通過資料庫網關接入的自建資料庫通過雲企業網CEN接入的自建資料庫

支援同步的SQL操作

操作類型	SQL動作陳述式
DML	INSERT、UPDATE、DELETE、REPLACE
DDL	ALTER TABLE、ALTER VIEW CREATE FUNCTION、CREATE INDEX、CREATE PROCEDURE、CREATE TABLE、CREATE VIEW DROP INDEX、DROP TABLE RENAME TABLE 重要 RENAME TABLE操作可能導致同步資料不一致。例如同步對象只包含某個表，如果同步過程中源執行個體對該表執行了重新命名操作，那麼該表的資料將不會同步到目標庫。為避免該問題，您可以在資料同步配置時將該表所屬的整個資料庫作為同步對象，且確保RENAME TABLE操作前後的表所屬的資料庫均在同步對象中。 TRUNCATE TABLE

重要

僅正向任務（即源庫同步至目標庫）支援同步DDL，反向任務（即目標庫同步至源庫）不支援同步DDL，將自動過濾DDL操作。

支援的衝突檢測

為保障同步資料的一致性，您需要確保同一個主鍵、業務主鍵或唯一鍵的記錄只在雙向同步的一個節點進行更新。如果同時更新則會按照您在資料同步作業中配置的衝突修複策略進行響應。

DTS通過衝突檢測和修複最大程度地維護雙向同步執行個體的穩定性。目前DTS支援進行檢測的衝突類型包括：

INSERT導致的唯一性衝突
同步INSERT語句時違背了唯一性限制式，例如雙向同步的兩個節點同時或者在極為接近的時間INSERT某個主索引值相同的記錄，那麼同步到對端時，會因為已經存在相同主索引值的記錄，導致Insert同步失敗。
UPDATE更新的記錄不完全符合
- UPDATE要更新的記錄在同步目標執行個體中不存在時，DTS會自動轉化為INSERT，此時可能會出現唯一鍵的唯一性衝突。
- UPDATE要更新的記錄出現主鍵或唯一鍵衝突。
DELETE對應的記錄不存在
DELETE要刪除的記錄在同步的目標執行個體中不存在。出現這種衝突時，不論配置何種衝突修複策略，DTS都會自動忽略DELETE操作。

重要

由於資料同步兩端的系統時間可能存在差異、同步存在延時等多種因素，DTS無法完全保證衝突檢測機制能夠完全防止資料的衝突。在使用雙向同步時，您需要在業務層面配合進行相應的改造，保證同一個主鍵、業務主鍵或唯一鍵的記錄只在雙向同步的某個節點進行更新。
對於上述資料同步的衝突，DTS提供了修複策略，您可以在配置雙向同步時選擇。

功能限制

不相容觸發器
同步對象為整個庫且這個庫中包含了會更新同步表內容的觸發器，那麼可能導致同步資料不一致。例如資料庫中存在了兩個表A和B。表A上有一個觸發器，觸發器內容為在INSERT一條資料到表A之後，在表B中插入一條資料。這種情況在同步過程中，如果源執行個體表A上進行了INSERT操作，則會導致表B在源執行個體跟目標執行個體資料不一致。
此類情況須要將目標執行個體中的對應觸發器刪除掉，表B的資料由源執行個體同步過去，詳情請參見源庫存在觸發器時如何配置同步或遷移作業。
RENAME TABLE限制
RENAME TABLE操作可能導致同步資料不一致。例如同步對象只包含某個表，如果同步過程中源執行個體對該表執行了重新命名操作，那麼該表的資料將不會同步到目標庫。為避免該問題，您可以在資料同步配置時將該表所屬的整個資料庫作為同步對象。
DDL文法同步方向限制
為保障雙向同步鏈路的穩定性，DDL更新只能在其中一個同步方向進行同步。即一旦某個同步方向配置了DDL同步，則在反方向上不支援DDL同步，只進行DML同步。

操作步驟

購買雙向資料同步執行個體，詳情請參見購買資料同步任務。
重要
購買時，源執行個體和目標執行個體均選擇為MySQL，並選擇同步拓撲為雙向同步。
登入資料轉送控制台。
說明
若資料轉送控制台自動跳轉至Data Management控制台，您可以在右下角的中單擊，返回至舊版資料轉送控制台。
在左側導覽列，單擊資料同步。
在同步作業列表頁面頂部，選擇同步的目標執行個體所屬地區。
定位至已購買的資料同步執行個體，單擊該執行個體下第一個同步作業的配置同步鏈路。
重要
一個雙向資料同步執行個體會包含兩個同步作業，需要分別進行配置。

配置同步通道的源執行個體及目標執行個體資訊。 RDS雙向同步源目執行個體配置

類別	配置	說明
無	同步作業名稱	DTS會自動產生一個同步作業名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
源執行個體資訊	執行個體類型	選擇RDS執行個體。
	執行個體地區	購買資料同步執行個體時選擇的源執行個體地區資訊，不可變更。
	執行個體ID	選擇作為資料同步源的RDS執行個體ID。
	資料庫帳號	填入源RDS的資料庫帳號。重要當源RDS執行個體的資料庫類型為MySQL 5.5或MySQL 5.6時，沒有資料庫帳號和資料庫密碼配置選項。
	資料庫密碼	填入資料庫帳號對應的密碼。
	串連方式	根據需求選擇非加密串連或SSL安全連線。如果設定為SSL安全連線，您需要提前開啟RDS執行個體的SSL加密功能，詳情請參見設定SSL加密。重要目前僅中國內地及中國香港地區支援設定串連方式。
目標執行個體資訊	執行個體類型	選擇RDS執行個體。
	執行個體地區	購買資料同步執行個體時選擇的目標執行個體地區資訊，不可變更。
	執行個體ID	選擇作為資料同步目標的RDS執行個體ID。
	資料庫帳號	填入目標RDS的資料庫帳號。重要當目標RDS執行個體的資料庫類型為MySQL 5.5或MySQL 5.6時，沒有資料庫帳號和資料庫密碼配置選項。
	資料庫密碼	填入資料庫帳號對應的密碼。
	串連方式	根據需求選擇非加密串連或SSL安全連線。如果設定為SSL安全連線，您需要提前開啟RDS執行個體的SSL加密功能，詳情請參見設定SSL加密。重要目前僅中國內地及中國香港地區支援設定串連方式。

單擊頁面右下角的授權白名單並進入下一步。
如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單中；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。
警告
DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

配置同步策略及對象資訊。 RDS雙向同步對象及策略配置

類別	配置	說明
同步策略配置	是否過濾DDL	選擇為是：不同步DDL操作。選擇為否：同步DDL操作。重要 DDL文法同步方向限制。為保障雙向同步鏈路的穩定性，只支援正向同步DDL，不支援反向同步DDL。
	DML同步類型	選擇需要同步的DML類型，預設為Insert、Update、Delete，您可以根據業務需求調整。
	衝突修複策略	選擇同步衝突的修複策略，預設為TaskFailed，您可以根據業務情況選擇合適的衝突修複策略。 TaskFailed（遇到衝突，任務報錯退出）預設的衝突修複策略。當資料同步遇到上述衝突類型時，同步任務直接報錯並退出，同步任務進入失敗狀態，需要使用者介入修複任務。 Ignore（遇到衝突，直接使用目標執行個體中的衝突記錄）當資料同步遇到上述的衝突類型時，直接跳過當前同步語句，繼續往下執行，選擇使用目標庫中的衝突記錄。 Overwrite（遇到衝突，直接覆蓋目標執行個體中的衝突記錄）當資料同步遇到上述的衝突類型時，直接覆蓋目標庫中的衝突記錄。
選擇同步對象	無	在源庫對象框中單擊待同步的對象（選擇粒度為庫或表），然後單擊將其移動到已選擇對象框。重要如果選擇整個庫作為同步對象，該庫中所有對象的結構變更操作都會同步至目標庫。預設情況下，同步對象的名稱保持不變。如果您需要改變同步對象在目標庫中的名稱，需要使用對象名映射功能，詳情請參見設定同步對象在目標執行個體中的名稱。
映射名稱更改	無	如需更改同步對象在目標執行個體中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。
源表DMS_ONLINE_DDL過程中是否複製暫存資料表到目標庫	無	如源庫使用Data Management（Data Management）執行Online DDL變更，您可以選擇是否同步Online DDL變更產生的暫存資料表資料。是：同步Online DDL變更產生的暫存資料表資料。說明 Online DDL變更產生的暫存資料表資料過大，可能會導致同步任務延遲。否：不同步Online DDL變更產生的暫存資料表資料，只同步源庫的原始DDL資料。說明該方案會導致目標庫鎖表。
源、目標庫無法串連重試時間	無	當源、目標庫無法串連時，DTS預設重試720分鐘（即12小時），您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫，同步任務將自動回復。否則，同步任務將失敗。說明由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

上述配置完成後，單擊頁面右下角的下一步。
配置同步初始化的進階配置資訊。
此步驟會將源執行個體中已經存在同步對象的結構及資料在目標執行個體中初始化，作為後續增量同步處理資料的基準資料。同步初始化類型細分為：結構初始化、全量資料初始化。預設情況下，需要選擇結構初始化和全量資料初始化。
重要
如果同步對象中有部分表包含在另外一個同步方向的同步對象中，那麼這部分表不會進行同步初始化。
上述配置完成後，單擊頁面右下角的預檢查並啟動。
重要
- 在資料同步任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動資料同步任務。
- 如果預檢查失敗，單擊具體檢查項後的，查看失敗詳情。
  - 您可以根據提示修複後重新進行預檢查。
  - 如無需修複警示檢測項，您也可以選擇確認屏蔽、忽略警示項並重新進行預檢查，跳過警示檢測項重新進行預檢查。
在預檢查對話方塊中顯示預檢查通過後，關閉預檢查對話方塊，同步作業將正式開始。
等待該同步作業的鏈路初始化完成，直至狀態處於同步中。
您可以在資料同步頁面，查看資料同步狀態。
定位至第二個同步作業，單擊配置同步鏈路，配置流程參見步驟5到步驟12。
第二個同步作業配置完成後，等待兩個同步作業的鏈路狀態均處於同步中，即完成雙向資料同步的配置流程。