配置PolarDB PostgreSQL版叢集間的雙向同步 - Data Transmission Service

本文為您介紹如何使用Data Transmission Service，實現PolarDB PostgreSQL版叢集間的雙向同步。

前提條件

已建立源和目標PolarDB PostgreSQL版叢集。建立方式，請參見建立PolarDB PostgreSQL版資料庫叢集。
說明
- 源庫和目標庫支援的版本，請參見同步方案概覽。
- 建議目標PolarDB PostgreSQL版叢集的規格與源PolarDB PostgreSQL版叢集保持一致。
已在目標PolarDB PostgreSQL版叢集中建立用於接收資料的資料庫。建立方法，請參見資料庫管理。
已將源和目標PolarDB PostgreSQL版叢集的wal_level參數值設定為logical。設定方式，請參見設定叢集參數。

注意事項

說明

在庫表結構同步過程中，DTS會將來源資料庫中的外鍵同步到目標資料庫。
在全量同步和增量同步處理過程中，DTS會以Session層級暫時禁用約束檢查以及外鍵級聯操作。若任務運行時源庫存在串聯更新、刪除操作，可能會導致資料不一致。

類型	說明
源庫限制	PolarDB PostgreSQL版叢集中，源庫中待同步的表需具備主鍵或非空唯一索引。若源庫有長事務，且執行個體包含增量同步處理任務，則可能會導致源庫長事務提交前的預寫記錄檔WAL（Write-Ahead Logging）無法清理而堆積，從而造成源庫磁碟空間不足。為保障同步任務的正常進行，避免主備切換導致的邏輯訂閱中斷，需要PolarDB PostgreSQL版引擎支援並開啟Logical Replication Slot Failover。設定方式，請參見邏輯複製槽容錯移轉（Logical Replication Slot Failover）。在庫表結構同步和全量同步階段，請勿執行庫或表結構變更的DDL操作，否則會導致資料同步任務失敗。
其他限制	在全量資料初始化時，DTS將會佔用源和目標庫一定的讀寫資源，可能會導致資料庫的負載上升。因此建議在執行資料同步前評估源庫和目標庫的效能，並在業務低峰期執行資料同步（例如源庫和目標庫的CPU負載在30%以下）。由於全量資料同步會並發執行INSERT操作，導致目標資料庫的表產生片段，因此全量同步完成後目標資料庫的表格儲存體空間會大於源執行個體的表格儲存體空間。在DTS同步期間，不允許有除DTS外的資料寫入目標庫，否則會導致源庫與目標庫資料不一致。雙向同步執行個體包含正向和反向同步任務，在配置或重設雙向同步執行個體時，若其中一個任務的目標對象是另一個任務待同步的對象：僅允許其中一個任務同步全量和增量資料，另一個任務僅支援同步增量資料。當前任務的來源資料僅支援同步到當前任務的目標端，同步過來的資料不會作為另一個任務的來源資料繼續同步。同步期間，DTS會在源庫中建立首碼為`dts_sync_`的replication slot用於複製資料。通過該replication slot，DTS可以擷取源庫15分鐘內的增量日誌。說明當釋放同步任務或同步失敗時，DTS會主動清理該replication slot；如果源庫發生了主備切換，則需要您登入備庫來手動清理。 DTS的校正對象為資料內容，暫不支援Sequence等中繼資料的校正，您需要自行校正。由於業務切換到目標端後，新寫入的Sequence不會按照源庫的Sequence最大值作為初始值去遞增，您需要在業務切換前，在源庫中查詢對應Sequence的最大值，然後在目標庫中將其作為對應Sequence的初始值。查詢源庫Sequence值的相關命令如下： `do language plpgsql $$ declare nsp name; rel name; val int8; begin for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S' loop execute format($_$select last_value from %I.%I$_$, nsp, rel) into val; raise notice '%', format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1); end loop; end; $$;` 說明執行以上命令輸出的SQL包含源庫所有Sequence，請根據業務需求在目標庫中執行。若為全量同步或增量同步處理任務，且來源資料庫中要同步的表包含外鍵、觸發器、事件觸發程序，如果目標庫帳號為高許可權帳號或者super許可權帳號，全量或增量同步處理時DTS會以Session層級暫時將session_replication_role的參數值設定為replica；如果目標庫帳號沒有該許可權，您需要手動將目標資料庫中session_replication_role的參數值設定為replica。在此期間（全量同步或增量同步處理過程中session_replication_role的參數值為replica），若源庫存在串聯更新、刪除操作，則可能會導致資料不一致。在DTS同步任務釋放後，您可以將session_replication_role的參數值改回origin。若執行個體運行失敗，DTS技術支援人員將在8小時內嘗試恢複該執行個體。在恢複失敗執行個體的過程中，可能會對該執行個體進行重啟、調整參數等操作。說明在調整參數時，僅會修改執行個體的參數，不會對資料庫中的參數進行修改。可能修改的參數，包括但不限於修改執行個體參數中的參數。

費用說明

同步類型	鏈路配置費用
庫表結構同步和全量資料同步	不收費。
增量資料同步	收費，詳情請參見計費概述。

支援的衝突檢測

為保障同步資料的一致性，您需要確保同一個主鍵、業務主鍵或唯一鍵的記錄只在雙向同步的一個節點進行更新。如果同時更新則會按照您在資料同步作業中配置的衝突修複策略進行響應。

DTS通過衝突檢測和修複最大程度地維護雙向同步執行個體的穩定性。目前DTS支援進行檢測的衝突類型包括：

INSERT導致的唯一性衝突
同步INSERT語句時違背了唯一性限制式，例如雙向同步的兩個節點同時或者在極為接近的時間INSERT某個主索引值相同的記錄，那麼同步到對端時，會因為已經存在相同主索引值的記錄，導致Insert同步失敗。
UPDATE更新的記錄不完全符合
- UPDATE要更新的記錄在同步目標執行個體中不存在時，DTS會自動轉化為INSERT，此時可能會出現唯一鍵的唯一性衝突。
- UPDATE要更新的記錄出現主鍵或唯一鍵衝突。
DELETE對應的記錄不存在
DELETE要刪除的記錄在同步的目標執行個體中不存在。出現這種衝突時，不論配置何種衝突修複策略，DTS都會自動忽略DELETE操作。

重要

由於資料同步兩端的系統時間可能存在差異、同步存在延時等多種因素，DTS無法完全保證衝突檢測機制能夠完全防止資料的衝突。在使用雙向同步時，您需要在業務層面配合進行相應的改造，保證同一個主鍵、業務主鍵或唯一鍵的記錄只在雙向同步的某個節點進行更新。
對於上述資料同步的衝突，DTS提供了修複策略，您可以在配置雙向同步時選擇。

支援同步的對象

SCHEMA、TABLE
說明
包含PRIMARY KEY、UNIQUE KEY、FOREIGN KEY、DATATYPE（內建資料類型）和DEFAULT CONSTRAINT。
VIEW、PROCEDURE（PostgreSQL的版本需為11及以上）、FUNCTION、RULE、SEQUENCE、EXTENSION、TRIGGER、AGGREGATE、INDEX、OPERATOR、DOMAIN

支援同步的SQL操作

重要

僅正向任務（即源庫同步至目標庫）支援同步DDL，反向任務（即目標庫同步至源庫）不支援同步DDL，將自動過濾DDL操作。

操作類型	SQL動作陳述式
DML	INSERT、UPDATE、DELETE
DDL	僅2020年10月01日後建立的資料同步任務，支援同步DDL操作。重要 2023年05月12日前建立的資料同步任務，需在配置同步任務前，在源庫中建立觸發器和函數來捕獲DDL資訊，詳情請參見通過觸發器和函數實現PostgreSQL的DDL增量遷移。增量資料同步階段不支援同步bit類型的資料。來源資料庫帳號為高許可權帳號時，同步任務支援如下DDL操作： CREATE TABLE、DROP TABLE ALTER TABLE（包括RENAME TABLE、ADD COLUMN、ADD COLUMN DEFAULT、ALTER COLUMN TYPE、DROP COLUMN、ADD CONSTRAINT、ADD CONSTRAINT CHECK、ALTER COLUMN DROP DEFAULT） TRUNCATE TABLE（源庫PolarDB PostgreSQL版的資料庫引擎需為PostgreSQL 11及以上版本） CREATE INDEX ON TABLE 重要不支援同步DDL中包含的附加資訊，如CASCADE或RESTRICT等。不支援同步使用`SET session_replication_role = replica`命令的會話中的DDL。不支援同步通過調用FUNCTION等方式執行的DDL。若源庫單次提交的多條SQL中同時包含DML和DDL，則該DDL不會被同步。若源庫單次提交的多條SQL中包含非同步對象的DDL，則該DDL不會被同步。

資料庫帳號的許可權要求

資料庫	要求的權限	帳號建立及授權方式
源和目標PolarDB PostgreSQL版叢集	高許可權帳號，且需為資料庫的Owner。	建立資料庫帳號和資料庫管理。

操作步驟

進入目標地區的同步工作清單頁面（二選一）。
通過DTS控制台進入
1. 登入Data Transmission Service控制台。
2. 在左側導覽列，單擊資料同步。
3. 在頁面左上方，選擇同步執行個體所屬地區。
通過DMS控制台進入
說明
實際操作可能會因DMS的模式和布局不同，而有所差異。更多資訊，請參見極簡模式控制台和自訂DMS介面布局與樣式。
1. 登入Data Management服務。
2. 在頂部功能表列中，選擇整合與開發 > 資料轉送（DTS） > 資料同步。
3. 在同步任務右側，選擇同步執行個體所屬地區。
單擊創建任務，進入任務配置頁面。
可選：在頁面右上方，單擊試用新版配置頁。
說明
- 若您已進入新版配置頁（頁面右上方的按鈕為返回舊版配置頁），則無需執行此操作。
- 新版配置頁和舊版配置頁部分參數有差異，建議使用新版配置頁。

配置源庫及目標庫資訊。

類別	配置	說明
無	任務名稱	DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
源庫資訊	選擇已有串連資訊	您可以按實際需求，選擇是否使用已有資料庫執行個體。如使用已有執行個體，下方資料庫資訊將自動填入，您無需重複輸入。如不使用已有執行個體，您需要配置下方的資料庫資訊。說明您可以在資料連線管理頁面或新版配置頁面，將資料庫錄入DTS。更多資訊，請參見資料連線管理。 DMS控制台的配置項為選擇DMS資料庫執行個體，您可以單擊新增DMS資料庫執行個體或在控制台首頁將資料庫錄入DMS。更多資訊，請參見雲資料庫錄入和他雲/自建資料庫錄入。
	資料庫類型	選擇PolarDB for PostgreSQL。
	接入方式	選擇雲執行個體。
	執行個體地區	選擇源PolarDB PostgreSQL版叢集所屬的地區。
	是否跨阿里雲帳號	本樣本使用當前阿里雲帳號下的資料庫執行個體，需選擇不跨帳號。
	執行個體ID	選擇源PolarDB PostgreSQL版叢集的ID。
	資料庫名稱	填入源PolarDB PostgreSQL版叢集中待同步對象所屬資料庫的名稱。
	資料庫帳號	填入源PolarDB PostgreSQL版叢集的資料庫帳號。許可權要求，請參見資料庫帳號的許可權要求。
	資料庫密碼	填入該資料庫帳號對應的密碼。
目標庫資訊	選擇已有串連資訊	您可以按實際需求，選擇是否使用已有資料庫執行個體。如使用已有執行個體，下方資料庫資訊將自動填入，您無需重複輸入。如不使用已有執行個體，您需要配置下方的資料庫資訊。說明您可以在資料連線管理頁面或新版配置頁面，將資料庫錄入DTS。更多資訊，請參見資料連線管理。 DMS控制台的配置項為選擇DMS資料庫執行個體，您可以單擊新增DMS資料庫執行個體或在控制台首頁將資料庫錄入DMS。更多資訊，請參見雲資料庫錄入和他雲/自建資料庫錄入。
	資料庫類型	選擇PolarDB for PostgreSQL。
	接入方式	選擇雲執行個體。
	執行個體地區	選擇目標PolarDB PostgreSQL版叢集所屬的地區。
	執行個體ID	選擇目標PolarDB PostgreSQL版叢集的ID。
	資料庫名稱	填入目標PolarDB PostgreSQL版叢集中用於接收資料的資料庫名稱。
	資料庫帳號	填入目標PolarDB PostgreSQL版叢集的資料庫帳號。許可權要求，請參見資料庫帳號的許可權要求。
	資料庫密碼	填入該資料庫帳號對應的密碼。

配置完成後，在頁面下方單擊測試連接以進行下一步。
說明
請確保DTS服務的IP位址區段能夠被自動或手動添加至源庫和目標庫的安全設定中，以允許DTS伺服器的訪問。更多資訊，請參見添加DTS伺服器的IP位址區段。

配置任務對象。

在對象配置頁面，配置待同步的對象。

配置	說明
同步類型	固定選中增量同步處理。預設情況下，您還需要同時選中庫表結構同步和全量同步。預檢查完成後，DTS會將源執行個體中待同步對象的全量資料在目的地組群中初始化，作為後續增量同步處理資料的基準資料。
同步拓撲	選擇雙向同步。
是否開啟Exactly-Once寫入	若待同步的對象中包含不具備主鍵和唯一約束的表，請選擇是。更多資訊，請參見同步無主鍵和唯一約束的表。
是否過濾DDL	選擇為是：不同步DDL操作。選擇為否：同步DDL操作。重要為保障雙向同步鏈路的穩定性，僅正向任務（即源庫同步至目標庫）支援選擇是否同步DDL，反向任務（即目標庫同步至源庫）將自動過濾DDL操作。
全域衝突修複策略	請根據業務需要，選擇合適的衝突修複策略。 TaskFailed（遇到衝突，任務報錯退出）當資料同步遇到衝突時，同步任務直接報錯並退出，同步任務進入失敗狀態，需要您介入修複任務。 Ignore（遇到衝突，直接使用目標執行個體中的衝突記錄）當資料同步遇到衝突時，直接跳過當前同步語句，繼續往下執行，選擇使用目標庫中的衝突記錄。 Overwrite（遇到衝突，直接覆蓋目標執行個體中的衝突記錄）當資料同步遇到衝突時，直接覆蓋目標庫中的衝突記錄。說明支援的衝突類型，請參見支援的衝突檢測。如果同步任務暫停或者重啟後存在延遲，在延遲期間，這些策略均不生效，預設覆蓋目標端資料。
目標已存在表的處理模式	預檢查並報錯攔截：檢查目標資料庫中是否有同名的表。如果目標資料庫中沒有同名的表，則通過該檢查專案；如果目標資料庫中有同名的表，則在預檢查階段提示錯誤，資料同步任務不會被啟動。說明如果目標庫中同名的表不方便刪除或重新命名，您可以更改該表在目標庫中的名稱，請參見庫表列名映射。忽略報錯並繼續執行：跳過目標資料庫中是否有同名表的檢查項。警告選擇為忽略報錯並繼續執行，可能導致資料不一致，給業務帶來風險，例如：表結構一致的情況下，如在目標庫遇到與源庫主鍵或唯一鍵的值相同的記錄：全量期間，DTS會保留目的地組群中的該條記錄，即源庫中的該條記錄不會同步至目標資料庫中。增量期間，DTS不會保留目的地組群中的該條記錄，即源庫中的該條記錄會覆蓋至目標資料庫中。表結構不一致的情況下，可能會導致無法初始化資料、只能同步部分列的資料或同步失敗，請謹慎操作。
目標庫對象名稱大小寫策略	您可以配置目標執行個體中同步對象的庫名、表名和列名的英文大小寫策略。預設情況下選擇DTS預設策略，您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊，請參見目標庫對象名稱大小寫策略。
源庫對象	在源庫對象框中單擊待同步對象，然後單擊將其移動至已選擇對象框。說明同步對象的選擇粒度為Schema、表或列。
已選擇對象	如需更改同步對象在目標執行個體中的名稱，請右擊已選擇對象中的同步對象進行修改。設定方式，請參見庫表列名映射。如需移除已選擇的同步對象，請在已選擇對象框中單擊待同步的對象，然後單擊將其移動到源庫對象框。說明如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象同步失敗。如需設定WHERE條件過濾資料，請在已選擇對象中右擊待同步的表，在彈出的對話方塊中設定過濾條件。設定方法，請參見設定過濾條件。如需選擇增量同步處理的SQL操作，請在已選擇對象中右擊待同步對象，並在彈出的對話方塊中選擇所需同步的SQL操作。

單擊下一步高級配置，進行進階參數配置。

配置	說明
選擇調度該任務的專屬叢集	DTS預設將任務調度到共用叢集上，您無需選擇。若您希望任務更加穩定，可以購買專屬叢集來運行DTS同步任務。更多資訊，請參見什麼是DTS專屬叢集。
源庫、目標庫無法串連後的重試時間	在同步任務啟動後，若源庫或目標庫串連失敗則DTS會報錯，並會立即進行持續的重試串連，預設持續重試時間為720分鐘，您也可以在取值範圍（10~1440分鐘）內自訂重試時間，建議設定30分鐘以上。如果DTS在設定的重試時間內重新串連上源庫、目標庫，同步任務將自動回復。否則，同步任務將會失敗。說明針對同源或者同目標的多個DTS執行個體，如DTS執行個體A和DTS執行個體B，設定網路重試時間時A設定30分鐘，B設定60分鐘，則重試時間以低的30分鐘為準。由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
源庫、目標庫出現其他問題後的重試時間	在同步任務啟動後，若源庫或目標庫出現非串連性的其他問題（如DDL或DML執行異常），則DTS會報錯並會立即進行持續的重試操作，預設持續重試時間為10分鐘，您也可以在取值範圍（1~1440分鐘）內自訂重試時間，建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功，同步任務將自動回復。否則，同步任務將會失敗。重要源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
是否限制全量遷移速率	在全量同步階段，DTS將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升。您可以根據實際情況，選擇是否對全量同步任務進行限速設定（設定每秒查詢源庫的速率QPS、每秒全量遷移的行數RPS和每秒全量遷移的數據量(MB)BPS），以緩解目標庫的壓力。說明僅當同步類型選擇了全量同步時才可以配置。
是否限制增量同步處理速率	您也可以根據實際情況，選擇是否對增量同步處理任務進行限速設定（設定每秒增量同步處理的行數RPS和每秒增量同步處理的數據量(MB)BPS），以緩解目標庫的壓力。
環境標籤	您可以根據實際情況，選擇用於標識執行個體的環境標籤。本樣本無需選擇。
配置ETL功能	選擇是否配置ETL功能。關於ETL的更多資訊，請參見什麼是ETL。是：配置ETL功能，並在文字框中填寫資料處理語句，詳情請參見在DTS遷移或同步任務中配置ETL。否：不配置ETL功能。
監控警示	是否設定警示，當同步失敗或延遲超過閾值後，將通知警示連絡人。不設定：不設定警示。設定：設定警示，您還需要設定警示閾值和警示通知。更多資訊，請參見在配置任務過程中配置監控警示。

單擊下一步資料校正，進行資料校正任務配置。
若您需要使用資料校正功能，配置方法請參見配置資料校正。

儲存任務並進行預檢查。
- 若您需要查看調用API介面配置該執行個體時的參數資訊，請將滑鼠游標移動至下一步儲存任務並預檢查按鈕上，然後單擊氣泡中的預覽OpenAPI參數。
- 若您無需查看或已完成查看API參數，請單擊頁面下方的下一步儲存任務並預檢查。
說明
- 在同步作業正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動同步作業。
- 如果預檢查失敗，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。
- 如果預檢查產生警告：
  對於不可以忽略的檢查項，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。
  對於可以忽略無需修複的檢查項，您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查，跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項，可能會導致資料不一致等問題，給業務帶來風險。

購買執行個體。

預檢查通過率顯示為100%時，單擊下一步購買。

在購買頁面，選擇資料同步執行個體的計費方式、鏈路規格，詳細說明請參見下表。

類別	參數	說明
資訊配置	計費方式	預付費（訂用帳戶）：在建立執行個體時支付費用。適合長期需求，價格比隨用隨付更實惠，且購買時間長度越長，折扣越多。後付費（隨用隨付）：按小時計費。適合短期需求，用完可立即釋放執行個體，節省費用。
	資源群組配置	執行個體所屬的資源群組，預設為default resource group。更多資訊，請參見什麼是資源管理。
	鏈路規格	DTS為您提供了不同效能的同步規格，同步鏈路規格的不同會影響同步速率，您可以根據業務情境進行選擇。更多資訊，請參見資料同步鏈路規格說明。
	訂購時間長度	在預付費模式下，選擇訂用帳戶執行個體的時間長度和數量，包月可選擇1~9個月，包年可選擇1年、2年、3年和5年。說明該選項僅在付費類型為預付費時出現。

配置完成後，閱讀並勾選《資料轉送（隨用隨付）服務條款》。
單擊購買並啟動，並在彈出的確認對話方塊，單擊確定。
您可在資料同步介面查看具體任務進度。

配置反向同步任務。
1. 等待正向同步任務同步初始化完成，直至運行狀態處於運行中。
2. 在反向任務的操作列，單擊配置任務。
3. 參考步驟4~步驟7，配置反向同步任務。
  重要
  - 配置反向同步任務時，您需要選擇正確的源和目標執行個體。反向同步中源執行個體為正向同步中的目標執行個體，目標執行個體為正向同步中的源執行個體，並且您還需仔細確認執行個體資訊（如資料庫名稱、帳號、密碼）的一致性。
  - 反向同步任務源和目標庫的執行個體地區不支援修改，且需要配置的參數比正向同步任務少，請以控制台介面為準。
  - 反向同步任務的目標已存在表的處理模式配置不檢測正向同步任務同步至目標執行個體中的表。
  - 反向同步任務不支援同步正向任務已選擇對象中的對象。
  - 反向任務配置時不建議您使用映射功能，否則會存在資料不一致的風險。
4. 預檢查通過率顯示為100%時，單擊返回列表。
反向同步任務配置完成後，等待兩個同步任務的運行狀態均處於運行中，即完成雙向資料同步的配置流程。