資料同步功能協助您實現資料來源之間的資料即時同步,適用於資料異地多活、資料異地災備、本機資料災備、跨境資料同步、雲BI及即時資料倉庫等多種業務情境。本文將介紹資料同步功能支援的資料庫、同步類型和同步拓撲。
資料同步在某些情境下可實現部分資料移轉的功能,且網路穩定性更好、功能更豐富。更多區別,請參見資料移轉和資料同步的區別是什麼。
當前僅當目標庫為Function ComputeFC時,不支援跨地區的同步任務(源庫與目標庫的地區不同),其餘鏈路均支援。
是否支援建立跨阿里雲帳號的同步任務(源或目標庫執行個體有是否跨阿里雲帳號配置項,且選擇為跨帳號)取決於資料庫的類型和接入方式。更多資訊,請參見支援的資料庫。
源庫或目標庫為RDS MySQL資料庫的鏈路,支援RDS MySQL Serverless執行個體;源庫或目標庫為RDS PostgreSQL資料庫的鏈路,僅目標庫支援RDS PostgreSQL Serverless執行個體;暫不支援雲訊息佇列Kafka版Serverless系列執行個體。
通過雲資料庫專屬叢集MyBase建立的資料庫執行個體,可以通過雲執行個體的接入方式被DTS正常讀取,您可以參考下表中的相應資料庫鏈路文檔進行配置。例如,您可以參考自建MySQL同步至RDS MySQL配置從自建MySQL同步至雲資料庫專屬叢集MyBase中的MySQL執行個體。
同步類型說明
同步類型 | 說明 |
庫表結構同步 | DTS將源庫中待同步對象的結構定義資訊(例如表、視圖、觸發器、預存程序、索引等)同步至目標庫。 重要 如果不支援庫表結構同步,在配置資料同步任務之前,您需要根據源庫中待同步對象的結構定義,在目標庫中建立資料庫、資料表。 |
全量資料同步 | DTS將源庫中待同步對象的存量資料,全部同步到目標庫中,作為後續增量同步處理資料的基準資料。 為簡化資料同步的操作,建議在配置資料同步任務時,同時勾選庫表結構同步和全量同步。 |
增量資料同步 | 同步任務固定支援增量資料同步,將源庫產生的增量資料即時同步至目標庫。 |
同步拓撲說明
請參見資料同步拓撲介紹。
源庫限制
限制項 | 說明 |
網路頻寬 | 須大於等於100 Mb/s。 |
業務要求 |
|
同步方案概覽
DTS支援以下同步方案,您可以根據業務需求單擊具體方案,來查看支援的版本、同步類型和配置步驟。
下表中各類自建資料庫(例如自建MySQL、Redis等)支援的接入方式如下:
ECS自建資料庫
專線/VPN網關/智能網關
資料庫網關DG(無公網IP:Port的資料庫)
由於公網品質等因素,此接入方式可能會導致任務不穩定。建議使用Express Connect(Express Connect)或Smart Access Gateway(Smart Access Gateway)將本機資料中心和雲上專用網路打通,然後通過專線/VPN網關/智能網關的接入方式將自建資料庫接入DTS。更多資訊,請參見串連本地IDC。
雲企業網CEN
源為自建MySQL或RDS MySQL的同步方案
PolarDB-X 1.0中的資料庫須基於RDS MySQL建立,DTS暫不支援基於PolarDB MySQL版建立的資料庫。
PolarDB-X 1.0為目標時不支援結構同步以及結構初始化,PolarDB-X 2.0為目標時均支援。
PolarDB-X 2.0需相容MySQL 5.7版本,且建議執行個體版本升級為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
Oracle(RAC或非RAC架構) 版本為9i、10g、11g、12c、18c、19c | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 2.0、3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫ClickHouse叢集 20.8及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫Tair(相容Redis)執行個體(叢集架構、標準架構或讀寫分離架構) 4.0、5.0、6.0、7.0版本 | 全量資料同步 增量資料同步 | 單向同步 | ||
Table Store(Tablestore) | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Function ComputeFC | 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲原生多模資料庫Lindorm | 全量資料同步 增量資料同步 | 單向同步 | ||
Doris 1.2及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB MySQL版的同步方案
PolarDB-X 1.0中的資料庫須基於RDS MySQL建立,DTS暫不支援基於PolarDB MySQL版建立的資料庫。
PolarDB-X 1.0為目標時不支援結構同步以及結構初始化,PolarDB-X 2.0為目標時均支援。
PolarDB-X 2.0需相容MySQL 5.7版本,且建議執行個體版本升級為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB MySQL版 所有版本 | PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 2.0、3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫ClickHouse叢集 20.8及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Oracle(RAC或非RAC架構) 版本為9i、10g、11g、12c、18c、19c | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲資料庫SelectDB版 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Doris 1.2及以上版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
雲原生多模資料庫Lindorm | 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB PostgreSQL版的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB PostgreSQL版 11、14、15、16版本 |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
PolarDB PostgreSQL版 11、14、15、16版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB-X的同步方案
PolarDB-X 1.0中的資料庫須基於RDS MySQL建立,DTS暫不支援基於PolarDB MySQL版建立的資料庫。
PolarDB-X 1.0為目標時不支援結構同步以及結構初始化,PolarDB-X 2.0為目標時均支援。
PolarDB-X 2.0需相容MySQL 5.7版本,且建議執行個體版本升級為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB-X 1.0 | PolarDB-X 1.0 | 全量資料同步 增量資料同步 | 單向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Elasticsearch 5.5、5.6、6.x、7.x、8.x版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Oracle(RAC或非RAC架構) 版本為9i、10g、11g、12c、18c、19c | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
Table Store(Tablestore) | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為PolarDB PostgreSQL版(相容Oracle)的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
PolarDB PostgreSQL版(相容Oracle) 所有版本 | PolarDB PostgreSQL版(相容Oracle) 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
| 庫表結構同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | PolarDB PostgreSQL版(相容Oracle)叢集同步至雲原生資料倉儲 AnalyticDB MySQL 版 3.0 |
源為Oracle的同步方案
僅支援在新版控制台配置。
目標庫的PolarDB-X 2.0需相容MySQL 5.7版本,且建議執行個體版本升級為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
自建Oracle(RAC或非RAC架構) 9i、10g、11g、12c、18c、19c版本 | AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
DataHub | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
MaxCompute | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB PostgreSQL版(相容Oracle) 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
阿里雲訊息佇列Kafka版 0.10.1.0~2.x版本 說明 若Broker數量大於3個,需以專線/VPN網關/智能網關的方式接入DTS。 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為自建PostgreSQL或RDS PostgreSQL的同步方案
源庫暫不支援RDS PostgreSQL Serverless執行個體,目標庫支援。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | |
PolarDB PostgreSQL版 11、14、15、16版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 雙向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB PostgreSQL版(相容Oracle) 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為自建SQL Server或RDS SQL Server的同步方案
源庫支援的自建SQL Server需為Enterprise、Developer、Enterprise Evaluation、Standard、Web版本。
目標庫支援的自建SQL Server需為Enterprise、Developer、Enterprise Evaluation、Standard、Web版本。
已支援SQL Server Cluster或SQL Server AlwaysOn High Availability Group。
源庫不支援自建SQL Server為2005版本或源RDS SQL Server為2008、2008R2版本。
在混合式日誌解析模式下(即SQLServer增量同步處理模式為非堆表用日誌解析增量同步處理,堆表用CDC增量同步處理的執行個體),支援的源庫(包含RDS SQL Server和自建SQL Server)有:
Enterprise或Enterprise Evaluation版:2012、2014、2016、2019或2022版本。
Standard版:2016、2019或2022版本。
Web版本的SQL Server為源庫時,SQLServer增量同步處理模式僅支援解析源庫日誌做增量同步處理(不支援堆表)。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
RDS PostgreSQL 9.4、10、11、12、13、14、15、16版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
DataHub | 庫表結構同步 增量資料同步 | 單向同步 |
源為MariaDB的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
RDS MySQL | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
RDS PostgreSQL 9.4、10、11、12、13、14、15、16版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為自建MongoDB或ApsaraDB for MongoDB的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
複本集架構
| 複本集或分區叢集架構
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ApsaraDB for MongoDB(複本集架構)同步至ApsaraDB for MongoDB(複本集架構或分區叢集架構) |
分區叢集架構
| 複本集或分區叢集架構
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ApsaraDB for MongoDB(分區叢集架構)同步至ApsaraDB for MongoDB(複本集架構或分區叢集架構) |
複本集或分區叢集架構
| Function ComputeFC | 增量資料同步 | 單向同步 | |
複本集或分區叢集架構
| 雲原生多模資料庫Lindorm | 全量資料同步 增量資料同步 | 單向同步 | |
複本集或分區叢集架構
| AnalyticDB for PostgreSQL 4.3、6.0、7.0 | 全量資料同步 增量資料同步 | 單向同步 | |
複本集或分區叢集架構
| 雲原生資料倉儲AnalyticDB MySQL版 3.0 | 全量資料同步 增量資料同步 | 單向同步 | |
ApsaraDB for MongoDB(分區叢集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | ApsaraDB for MongoDB(分區叢集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 雙向同步 | |
ApsaraDB for MongoDB(複本集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | ApsaraDB for MongoDB(複本集架構) 4.0、4.2、4.4、5.0、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 雙向同步 |
源為自建Redis或雲資料庫Tair(相容Redis)的同步方案
Redis屬於NoSQL資料庫,無需庫表結構同步。
僅支援本地碟的Redis企業版(Tair)執行個體、儲存介質為記憶體Tair(雲端硬碟版)執行個體、儲存介質為持久記憶體的Tair(雲端硬碟版)執行個體間的雙向同步。
源庫為自建Redis或雲資料庫Tair(相容Redis)社區版執行個體時,支援全量資料同步和增量資料同步,合并顯示為增量同步處理。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
|
| 全量資料同步 增量資料同步 | 單向同步 | |
雲資料庫Tair(相容Redis)企業版/Tair執行個體(叢集架構、標準架構或讀寫分離架構) | 雲資料庫Tair(相容Redis)企業版/Tair執行個體(叢集架構、標準架構或讀寫分離架構) | 全量資料同步 增量資料同步 | 雙向同步 |
源為TiDB的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
TiDB | AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為Db2 for LUW的同步方案
Db2 for LUW在控制台顯示為DB2 LUW。
目標庫的PolarDB-X 2.0需相容MySQL 5.7版本,且建議執行個體版本升級為5.4.11及以上,升級方式請參見查看和升級執行個體版本。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Db2 for LUW 9.5、9.7、10.1、10.5、11.1、11.5版本 |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB-X 2.0 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
AnalyticDB for PostgreSQL 4.3、6.0、7.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為Db2 for i(AS/400)的同步方案
Db2 for i在控制台顯示為DB2 iSeries(AS/400)。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Db2 for i 7.3、7.4版本 |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | 文檔準備中 |
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | 文檔準備中 |
源為AnalyticDB MySQL 3.0的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
AnalyticDB for MySQL 3.0版本 | AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | |
| 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 | ||
PolarDB MySQL版 所有版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為SLS的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Log ServiceSLS | 雲資料庫ClickHouse叢集 20.8及以上版本 | 全量資料同步 增量資料同步 | 單向同步 |
源為Data Management邏輯庫的同步方案
DMS邏輯庫需基於多個PolarDB MySQL版執行個體的分庫建立。
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
Data Management邏輯庫 | AnalyticDB for MySQL 3.0版本 | 庫表結構同步 全量資料同步 增量資料同步 | 單向同步 |
源為AWS平台資料庫的同步方案
源庫 | 目標庫 | 同步類型 | 同步拓撲 | 配置文檔 |
AWS平台資料庫 | 以控制台為準 |