Data Transmission Service支援將MongoDB(分區叢集架構)的資料同步至MongoDB(複本集架構或分區叢集架構)。本文以ApsaraDB for MongoDB執行個體間的資料同步為例,為您介紹操作步驟。
前提條件
已建立目標ApsaraDB for MongoDB(複本集架構或分區叢集架構)執行個體,建立方式,請參見棄置站台集執行個體或建立分區叢集執行個體。
重要建議目標ApsaraDB for MongoDB執行個體的儲存空間比源ApsaraDB for MongoDB執行個體佔用的儲存空間大10%。
支援的版本,請參見同步方案概覽。
源ApsaraDB for MongoDB分區叢集執行個體的所有Shard節點需要申請串連地址,且各Shard的帳號和密碼需保持一致。申請方法,請參見申請Shard或ConfigServer節點串連地址。
若目標MongoDB為分區叢集架構執行個體,請根據業務需求,在目標ApsaraDB for MongoDB(分區叢集架構)執行個體中建立需要分區的資料庫和集合、配置資料分區、開啟Balancer並進行預分區。更多資訊,請參見設定資料分區以充分利用Shard效能和如何處理分區叢集架構的MongoDB資料分布不均衡。
說明配置資料分區可以避免資料被同步至同一Shard(儲存資料庫資料的組件),導致無法發揮叢集效能;開啟Balancer並進行預分區可以避免資料扭曲問題。
本文以先配置後購買DTS任務為例,無需填寫源ApsaraDB for MongoDB(分區叢集架構)下的Shard數量。
如您先購買後配置DTS任務,則需要在購買DTS任務時填寫其正確的Shard數量。
注意事項
類型 | 說明 |
源和目標庫的限制 |
|
其他限制 |
|
費用說明
同步類型 | 鏈路配置費用 |
庫表結構同步和全量資料同步 | 不收費。 |
增量資料同步 | 收費,詳情請參見計費概述。 |
支援的單向同步架構
目前DTS僅支援兩個ApsaraDB for MongoDB執行個體(分區叢集架構)之間的單向同步,暫不支援多個ApsaraDB for MongoDB執行個體之間的單向同步。
任務步驟說明
同步類型 | 說明 |
庫表結構同步 | 將源ApsaraDB for MongoDB中同步對象的結構同步到目標ApsaraDB for MongoDB中。 |
全量同步 | 將源ApsaraDB for MongoDB同步對象的存量資料全部同步到目標ApsaraDB for MongoDB中。 說明 支援全量同步DATABASE和COLLECTION。 |
增量同步處理 | 在全量同步的基礎上,將源ApsaraDB for MongoDB的累加式更新同步到目標ApsaraDB for MongoDB中。 使用Oplog增量同步處理不支援在任務開始運行後建立的資料庫,支援同步的累加式更新如下:
使用ChangeStream支援同步的累加式更新如下:
|
清理孤立文檔
遷移資料前您需要清除源MongoDB資料庫中的孤立文檔。
如果未清除孤立文檔,將影響遷移效能,而且可能在遷移過程中會遇到_id
衝突的文檔,導致遷移錯誤的資料。
ApsaraDB for MongoDB
MongoDB 4.2以下大版本或4.0.6以下小版本的執行個體在執行清理指令碼時會報錯。如何查看執行個體目前的版本,請參見MongoDB小版本說明。如何升級小版本和大版本,請參見升級資料庫大版本和升級資料庫小版本。
清理孤立文檔需要使用cleanupOrphaned
命令。在MongoDB 4.4及以上版本和MongoDB 4.2及以下版本中的使用方法略有區別,具體操作方式如下。
MongoDB 4.4及以上版本
在可以串連分區叢集執行個體的伺服器上,建立一個用於清理孤立文檔的JS指令碼,指令碼名稱為
cleanupOrphaned.js
。說明該指令碼用於清理多個Shard節點的多個資料庫中所有集合的孤立文檔。如需清理特定集合中的孤立文檔,可自行修改JS指令碼來完成。
// shard執行個體名稱列表 var shardNames = ["shardName1", "shardName2"]; // 資料庫列表 var databasesToProcess = ["database1", "database2", "database3"]; shardNames.forEach(function(shardName) { // 遍曆指定的資料庫列表 databasesToProcess.forEach(function(dbName) { var dbInstance = db.getSiblingDB(dbName); // 擷取該資料庫執行個體的所有集合名稱 var collectionNames = dbInstance.getCollectionNames(); // 遍曆每個集合 collectionNames.forEach(function(collectionName) { // 完整的集合名稱 var fullCollectionName = dbName + "." + collectionName; // 構建 cleanupOrphaned 命令 var command = { runCommandOnShard: shardName, command: { cleanupOrphaned: fullCollectionName } }; // 執行命令 var result = db.adminCommand(command); if (result.ok) { print("Cleaned up orphaned documents for collection " + fullCollectionName + " on shard " + shardName); printjson(result); } else { print("Failed to clean up orphaned documents for collection " + fullCollectionName + " on shard " + shardName); } }); }); });
您需要對指令碼中的
shardNames
和databasesToProcess
參數的值進行修改,具體說明如下:shardNames
:分區叢集執行個體中待清理孤立文檔的Shard節點的ID數組,您可以在執行個體基本資料頁面的Shard列表地區擷取,例如d-bp15a3796d3a****
。databasesToProcess
:待清理孤立文檔的資料庫名稱數組。
在
cleanupOrphaned.js
指令碼所在的目錄下,執行以下命令清理孤立文檔。mongo --host <Mongoshost> --port <Primaryport> --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js > output.txt
參數說明如下。
參數
說明
<Mongoshost>
分區叢集執行個體Mongos節點的串連地址,格式為
s-bp14423a2a51****.mongodb.rds.aliyuncs.com
。<Primaryport>
分區叢集執行個體Mongos節點的連接埠號碼,預設為3717。
<database>
鑒權資料庫名,即資料庫帳號所屬的資料庫。
<username>
資料庫帳號。
<password>
資料庫帳號的密碼。
output.txt
執行結果儲存到output檔案中。
MongoDB 4.2及以下版本
在可以串連分區叢集執行個體的伺服器上,建立一個用於清理孤立文檔的JS指令碼,指令碼名稱為
cleanupOrphaned.js
。說明該指令碼用於清理多個Shard節點中指定資料庫下指定集合的孤立文檔。如需清理資料庫中多個集合的孤立文檔,您可以修改
fullCollectionName
參數並多次執行,也可以自行修改指令碼通過遍曆的方式執行。function cleanupOrphanedOnShard(shardName, fullCollectionName) { var nextKey = { }; var result; while ( nextKey != null ) { var command = { runCommandOnShard: shardName, command: { cleanupOrphaned: fullCollectionName, startingFromKey: nextKey } }; result = db.adminCommand(command); printjson(result); if (result.ok != 1 || !(result.results.hasOwnProperty(shardName)) || result.results[shardName].ok != 1 ) { print("Unable to complete at this time: failure or timeout.") break } nextKey = result.results[shardName].stoppedAtKey; } print("cleanupOrphaned done for coll: " + fullCollectionName + " on shard: " + shardName) } var shardNames = ["shardName1", "shardName2", "shardName3"] var fullCollectionName = "database.collection" shardNames.forEach(function(shardName) { cleanupOrphanedOnShard(shardName, fullCollectionName); });
您需要對指令碼中的
shardNames
和fullCollectionName
參數的值進行修改,具體說明如下:shardNames
:分區叢集執行個體中待清理孤立文檔的Shard節點的ID數組,您可以在執行個體基本資料頁面的Shard列表地區擷取,例如d-bp15a3796d3a****
。fullCollectionName
:需要替換為待清理孤立文檔的集合名稱,格式為資料庫名稱.集合名稱
。
在
cleanupOrphaned.js
指令碼所在的目錄下,執行以下命令清理孤立文檔。mongo --host <Mongoshost> --port <Primaryport> --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js > output.txt
參數說明如下。
參數
說明
<Mongoshost>
分區叢集執行個體Mongos節點的串連地址,格式為
s-bp14423a2a51****.mongodb.rds.aliyuncs.com
。<Primaryport>
分區叢集執行個體Mongos節點的連接埠號碼,預設為3717。
<database>
鑒權資料庫名,即資料庫帳號所屬的資料庫。
<username>
資料庫帳號。
<password>
資料庫帳號的密碼。
output.txt
執行結果儲存到output檔案中。
自建MongoDB
在可以串連自建MongoDB資料庫的伺服器上下載cleanupOrphaned.js指令檔。
wget "https://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/120562/cn_zh/1564451237979/cleanupOrphaned.js"
修改cleanupOrphaned.js指令檔,將
test
替換為待清理孤立文檔的資料庫名。重要如果您有多個資料庫,您需要重複執行步驟2~步驟3。
執行如下命令,清理Shard節點中指定資料庫下所有集合的孤立文檔。
說明您需要重複執行本步驟,為每個Shard節點清理孤立文檔。
mongo --host <Shardhost> --port <Primaryport> --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js
說明<Shardhost>:Shard節點的IP地址。
<Primaryport>:Shard節點中的Primary節點的服務連接埠。
<database>:鑒權資料庫名,即資料庫帳號所屬的資料庫。
<username>:登入資料庫的帳號。
<password>:登入資料庫的密碼。
樣本:
本案例的自建MongoDB資料庫有三個Shard節點,所以需要分別為這三個節點清除孤立文檔。
mongo --host 172.16.1.10 --port 27018 --authenticationDatabase admin -u dtstest -p 'Test123456' cleanupOrphaned.js
mongo --host 172.16.1.11 --port 27021 --authenticationDatabase admin -u dtstest -p 'Test123456' cleanupOrphaned.js
mongo --host 172.16.1.12 --port 27024 --authenticationDatabase admin -u dtstest -p 'Test123456' cleanupOrphaned.js
操作步驟
本文以先配置後購買DTS任務為例,無需填寫源ApsaraDB for MongoDB(分區叢集架構)下的Shard數量。
如您先購買後配置DTS任務,則需要在購買DTS任務時填寫其正確的Shard數量。
進入目標地區的同步工作清單頁面(二選一)。
通過DTS控制台進入
在左側導覽列,單擊資料同步。
在頁面左上方,選擇同步執行個體所屬地區。
通過DMS控制台進入
說明實際操作可能會因DMS的模式和布局不同,而有所差異。更多資訊,請參見極簡模式控制台和自訂DMS介面布局與樣式。
在頂部功能表列中,選擇
。在同步任務右側,選擇同步執行個體所屬地區。
單擊創建任務,進入任務配置頁面。
可選:在頁面右上方,單擊試用新版配置頁。
說明若您已進入新版配置頁(頁面右上方的按鈕為返回舊版配置頁),則無需執行此操作。
新版配置頁和舊版配置頁部分參數有差異,建議使用新版配置頁。
配置源庫及目標庫資訊。
類別
配置
說明
無
任務名稱
DTS會自動產生一個任務名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
源庫資訊
選擇已有串連資訊
您可以按實際需求,選擇是否使用已有資料庫執行個體。
如使用已有執行個體,下方資料庫資訊將自動填入,您無需重複輸入。
如不使用已有執行個體,您需要配置下方的資料庫資訊。
說明您可以在資料連線管理頁面或新版配置頁面,將資料庫錄入DTS。更多資訊,請參見資料連線管理。
DMS控制台的配置項為選擇DMS資料庫執行個體,您可以單擊新增DMS資料庫執行個體或在控制台首頁將資料庫錄入DMS。更多資訊,請參見雲資料庫錄入和他雲/自建資料庫錄入。
資料庫類型
選擇MongoDB。
接入方式
選擇雲執行個體。
執行個體地區
選擇源ApsaraDB for MongoDB所屬地區。
是否跨阿里雲帳號
本樣本使用當前阿里雲帳號下的資料庫執行個體,需選擇不跨帳號。
架構類型
選擇分區叢集架構。
遷移方式
請根據實際情況,選擇增量資料同步的方式。
Oplog(推薦):
若源庫已開啟Oplog日誌,則支援此選項。
說明本地自建MongoDB和ApsaraDB for MongoDB預設已開啟Oplog日誌,且使用此方式同步增量資料時增量同步處理任務的延遲較小(拉取日誌的速度較快),因此推薦選擇Oplog。
ChangeStream:
若源庫已開啟變更流(Change Streams),則支援此選項。
說明源庫為Amazon DocumentDB(非彈性叢集)時,僅支援選擇ChangeStream。
源庫架構類型選擇為分區叢集架構,無需填寫Shard賬號和Shard密碼。
執行個體ID
選擇源ApsaraDB for MongoDB執行個體ID。
鑒權資料庫名稱
填入源ApsaraDB for MongoDB執行個體資料庫帳號所屬的資料庫名稱,若未修改過則預設為admin。
資料庫帳號
填入源ApsaraDB for MongoDB的資料庫帳號,需具備待同步庫、config庫、admin庫和local庫的read許可權。
資料庫密碼
填入該資料庫帳號對應的密碼。
Shard賬號
填入源ApsaraDB for MongoDB的資料庫Shard帳號。
說明若您的源庫為自建MongoDB資料庫,還需要在上方填入Shard節點的shard接入資訊。
Shard密碼
填入源ApsaraDB for MongoDB的資料庫Shard密碼。
串連方式
DTS支援非加密串連、SSL安全連線和Mongo Atlas SSL三種串連方式。串連方式的選項與接入方式和架構類型有關,請以控制台為準。
說明架構類型為分區叢集架構,且遷移方式為Oplog的MongoDB資料庫,不支援SSL安全連線。
若源庫為自建(接入方式不為雲執行個體)複本集架構的MongoDB資料庫,並且選擇了SSL安全連線,DTS還支援上傳CA認證對串連進行校正。
目標庫資訊
選擇已有串連資訊
您可以按實際需求,選擇是否使用已有資料庫執行個體。
如使用已有執行個體,下方資料庫資訊將自動填入,您無需重複輸入。
如不使用已有執行個體,您需要配置下方的資料庫資訊。
說明您可以在資料連線管理頁面或新版配置頁面,將資料庫錄入DTS。更多資訊,請參見資料連線管理。
DMS控制台的配置項為選擇DMS資料庫執行個體,您可以單擊新增DMS資料庫執行個體或在控制台首頁將資料庫錄入DMS。更多資訊,請參見雲資料庫錄入和他雲/自建資料庫錄入。
資料庫類型
選擇MongoDB。
接入方式
選擇雲執行個體。
執行個體地區
選擇目標ApsaraDB for MongoDB所屬地區。
是否跨阿里雲帳號
本樣本使用當前阿里雲帳號下的資料庫執行個體,需選擇不跨帳號。
架構類型
選擇目標ApsaraDB for MongoDB所屬的架構類型。
執行個體ID
選擇目標ApsaraDB for MongoDB執行個體ID。
鑒權資料庫名稱
填入目標ApsaraDB for MongoDB執行個體資料庫帳號所屬的資料庫名稱,若未修改過則預設為admin。
資料庫帳號
填入目標ApsaraDB for MongoDB的資料庫帳號,需具備dbAdminAnyDatabase許可權、目標庫的readWrite許可權和local庫的read許可權。
資料庫密碼
填入該資料庫帳號對應的密碼。
串連方式
DTS支援非加密串連、SSL安全連線和Mongo Atlas SSL三種串連方式。串連方式的選項與接入方式和架構類型有關,請以控制台為準。
說明架構類型為分區叢集架構的MongoDB資料庫,不支援SSL安全連線。
若目標庫為自建(接入方式不為雲執行個體)複本集架構的MongoDB資料庫,並且選擇了SSL安全連線,DTS還支援上傳CA認證對串連進行校正。
配置完成後,在頁面下方單擊測試連接以進行下一步。
說明請確保DTS服務的IP位址區段能夠被自動或手動添加至源庫和目標庫的安全設定中,以允許DTS伺服器的訪問。更多資訊,請參見添加DTS伺服器的IP位址區段。
若源庫或目標庫為自建資料庫(接入方式不是雲執行個體),則還需要在彈出的DTS伺服器訪問授權對話方塊單擊測試連接。
配置任務對象。
在對象配置頁面,配置待同步的對象。
配置
說明
同步類型
固定選中增量同步處理。預設情況下,您還需要同時選中庫表結構同步和全量同步。預檢查完成後,DTS會將源執行個體中待同步對象的全量資料在目的地組群中初始化,作為後續增量同步處理資料的基準資料。
同步拓撲
請選擇單向同步。
目標已存在表的處理模式
預檢查並報錯攔截:檢查目標資料庫中是否有同名的集合。如果目標資料庫中沒有同名的集合,則通過該檢查專案;如果目標資料庫中有同名的集合,則在預檢查階段提示錯誤,資料同步任務不會被啟動。
說明如果目標庫中同名的集合不方便刪除或重新命名,您可以更改該集合在目標庫中的名稱,詳情請參見設定同步對象在目標執行個體中的名稱。
忽略報錯並繼續執行:跳過目標資料庫中是否有同名集合的檢查項。
警告選擇為忽略報錯並繼續執行,可能導致資料不一致,給業務帶來風險,例如:
在目標庫遇到與源庫主鍵或唯一鍵的值相同的記錄,則會保留目標庫中的該條記錄,即源庫中的該條記錄不會同步至目標庫中。
可能會導致無法初始化資料、只能同步部分的資料或同步失敗。
目標庫對象名稱大小寫策略
您可以配置目標執行個體中同步對象的庫名、表名和列名的英文大小寫策略。預設情況下選擇DTS預設策略,您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊,請參見目標庫對象名稱大小寫策略。
源庫對象
在源庫對象框中單擊待同步對象,然後單擊
將其移動至已選擇對象框。
說明同步對象的選擇粒度為DATABASE、COLLECTION。
已選擇對象
如需更改同步對象在目標執行個體中的名稱,請右擊已選擇對象中的同步對象進行修改。設定方式,請參見庫表列名映射。
如需移除已選擇的同步對象,請在已選擇對象框中單擊待同步的對象,然後單擊
將其移動到源庫對象框。
說明如需按庫或集合層級選擇增量同步處理的操作,請在已選擇對象中右擊待同步的對象,並在彈出的對話方塊中進行選擇。
如需設定條件過濾資料(全量同步階段支援條件過濾資料,增量同步處理階段不支援),請在已選擇對象中右擊待同步的表,並在彈出的對話方塊中進行設定。設定方法,請參見設定過濾條件。
如果使用了對象名映射功能(指定用於接收資料的資料庫或集合),可能會導致依賴這個對象的其他對象同步失敗。
單擊下一步高級配置,進行進階參數配置。
配置
說明
選擇調度該任務的專屬叢集
DTS預設將任務調度到共用叢集上,您無需選擇。若您希望任務更加穩定,可以購買專屬叢集來運行DTS同步任務。更多資訊,請參見什麼是DTS專屬叢集。
源庫、目標庫無法串連後的重試時間
在同步任務啟動後,若源庫或目標庫串連失敗則DTS會報錯,並會立即進行持續的重試串連,預設持續重試時間為720分鐘,您也可以在取值範圍(10~1440分鐘)內自訂重試時間,建議設定30分鐘以上。如果DTS在設定的重試時間內重新串連上源庫、目標庫,同步任務將自動回復。否則,同步任務將會失敗。
說明針對同源或者同目標的多個DTS執行個體,如DTS執行個體A和DTS執行個體B,設定網路重試時間時A設定30分鐘,B設定60分鐘,則重試時間以低的30分鐘為準。
由於串連重試期間,DTS將收取任務運行費用,建議您根據業務需要自訂重試時間,或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
源庫、目標庫出現其他問題後的重試時間
在同步任務啟動後,若源庫或目標庫出現非串連性的其他問題(如DDL或DML執行異常),則DTS會報錯並會立即進行持續的重試操作,預設持續重試時間為10分鐘,您也可以在取值範圍(1~1440分鐘)內自訂重試時間,建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功,同步任務將自動回復。否則,同步任務將會失敗。
重要源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
是否限制全量遷移速率
在全量同步階段,DTS將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升。您可以根據實際情況,選擇是否對全量同步任務進行限速設定(設定每秒查詢源庫的速率QPS、每秒全量遷移的行數RPS和每秒全量遷移的數據量(MB)BPS),以緩解目標庫的壓力。
說明僅當同步類型選擇了全量同步時才可以配置。
同一張表內主鍵_id的資料類型是否唯一
待同步的資料中,同一個集合內主鍵
_id
的資料類型是否唯一。說明僅當同步類型選擇了全量同步時才可以配置。
是:唯一。在全量同步階段,DTS將不會掃描源庫待同步資料中主鍵的資料類型。
否:不唯一。在全量同步階段,DTS將掃描源庫待同步資料中主鍵的資料類型。
是否限制增量同步處理速率
您也可以根據實際情況,選擇是否對增量同步處理任務進行限速設定(設定每秒增量同步處理的行數RPS和每秒增量同步處理的數據量(MB)BPS),以緩解目標庫的壓力。
環境標籤
您可以根據實際情況,選擇用於標識執行個體的環境標籤。本樣本無需選擇。
配置ETL功能
選擇是否配置ETL功能。關於ETL的更多資訊,請參見什麼是ETL。
是:配置ETL功能,並在文字框中填寫資料處理語句,詳情請參見在DTS遷移或同步任務中配置ETL。
否:不配置ETL功能。
監控警示
是否設定警示,當同步失敗或延遲超過閾值後,將通知警示連絡人。
不設定:不設定警示。
設定:設定警示,您還需要設定警示閾值和警示通知。更多資訊,請參見在配置任務過程中配置監控警示。
單擊下一步資料校正,進行資料校正任務配置。
若您需要使用資料校正功能,配置方法請參見配置資料校正。
儲存任務並進行預檢查。
若您需要查看調用API介面配置該執行個體時的參數資訊,請將滑鼠游標移動至下一步儲存任務並預檢查按鈕上,然後單擊氣泡中的預覽OpenAPI參數。
若您無需查看或已完成查看API參數,請單擊頁面下方的下一步儲存任務並預檢查。
說明在同步作業正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動同步作業。
如果預檢查失敗,請單擊失敗檢查項後的查看詳情,並根據提示修複後重新進行預檢查。
如果預檢查產生警告:
對於不可以忽略的檢查項,請單擊失敗檢查項後的查看詳情,並根據提示修複後重新進行預檢查。
對於可以忽略無需修複的檢查項,您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查,跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項,可能會導致資料不一致等問題,給業務帶來風險。
購買執行個體。
預檢查通過率顯示為100%時,單擊下一步購買。
在購買頁面,選擇資料同步執行個體的計費方式、鏈路規格,詳細說明請參見下表。
類別
參數
說明
資訊配置
計費方式
預付費(訂用帳戶):在建立執行個體時支付費用。適合長期需求,價格比隨用隨付更實惠,且購買時間長度越長,折扣越多。
後付費(隨用隨付):按小時計費。適合短期需求,用完可立即釋放執行個體,節省費用。
資源群組配置
執行個體所屬的資源群組,預設為default resource group。更多資訊,請參見什麼是資源管理。
鏈路規格
DTS為您提供了不同效能的同步規格,同步鏈路規格的不同會影響同步速率,您可以根據業務情境進行選擇。更多資訊,請參見資料同步鏈路規格說明。
訂購時間長度
在預付費模式下,選擇訂用帳戶執行個體的時間長度和數量,包月可選擇1~9個月,包年可選擇1年、2年、3年和5年。
說明該選項僅在付費類型為預付費時出現。
配置完成後,閱讀並勾選《資料轉送(隨用隨付)服務條款》。
單擊購買並啟動,並在彈出的確認對話方塊,單擊確定。
您可在資料同步介面查看具體任務進度。