前提條件
已建立目標ApsaraDB for MongoDB(複本集架構或分區叢集架構)執行個體,建立方式,請參見棄置站台集執行個體或建立分區叢集執行個體。
源ApsaraDB for MongoDB分區叢集執行個體的所有Shard節點需要申請串連地址,且各Shard的帳號和密碼需保持一致。申請方法,請參見申請Shard或ConfigServer節點串連地址。
若目標MongoDB為分區叢集架構執行個體,請根據業務需求,在目標ApsaraDB for MongoDB(分區叢集架構)執行個體中建立需要分區的資料庫和集合、配置資料分區、開啟Balancer並進行預分區。更多資訊,請參見設定資料分區以充分利用Shard效能和如何處理分區叢集架構的MongoDB資料分布不均衡。
說明
配置資料分區可以避免資料被同步至同一Shard(儲存資料庫資料的組件),導致無法發揮叢集效能;開啟Balancer並進行預分區可以避免資料扭曲問題。
本文以先配置後購買DTS任務為例,無需填寫源ApsaraDB for MongoDB(分區叢集架構)下的Shard數量。
如您先購買後配置DTS任務,則需要在購買DTS任務時填寫其正確的Shard數量。
注意事項
類型 | 說明 |
源和目標庫的限制 | 頻寬要求:源庫所屬的伺服器需具備足夠的出口頻寬,否則將影響資料同步速率。 待同步的集合需具備主鍵或唯一約束,且欄位具有唯一性,否則可能會導致目標資料庫中出現重複資料。 待同步集合中的_id欄位需具有唯一性,否則可能會導致資料不一致。 如同步對象為集合層級,且需進行編輯(如集合的名稱映射),則單次同步任務僅支援同步至多1000個集合。當超出數量限制,任務提交後會顯示請求報錯,此時建議您拆分待同步的集合,分批配置多個任務,或者配置整庫的同步任務。 源庫待同步的單條資料不能超過16 MB,否則會導致任務失敗。 源庫不支援Azure Cosmos DB for MongoDB和彈性叢集的Amazon DocumentDB。 源庫需開啟Oplog日誌,並確保Oplog日誌至少保留7天以上;或者開啟變更流(Change Streams),並確保DTS能夠通過Change Streams訂閱到源庫最近7天內的資料變更。否則可能會因無法擷取源庫的資料變更而導致任務失敗,極端情況下甚至可能會導致資料不一致或丟失。由此導致的問題,不在DTS的SLA保障範圍內。 在DTS同步期間,不支援MongoDB分區叢集進行分區的擴縮容,否則會導致DTS任務失敗。 若源執行個體為分區叢集架構的自建MongoDB,則接入方式僅支援專線/VPN網關/智能網關和Cloud Enterprise NetworkCEN。 源MongoDB分區叢集執行個體的Mongos節點的數量不能超過10個。 暫不支援同步包含TTL(Time To Live)索引的集合。若待同步的資料庫中包含TTL索引,則可能會導致資料不一致。 請確保源和目標執行個體中沒有孤立文檔,否則可能會導致資料不一致甚至任務失敗。更多資訊,請參見孤立文檔和如何清理MongoDB(分區叢集架構)的孤立文檔。 源庫操作限制: 若源庫的均衡器Balancer存在均衡資料的行為,則可能會導致執行個體產生延遲。 不支援通過SRV地址串連MongoDB資料庫。
|
其他限制 | 建議源和目標庫的MongoDB的資料庫版本保持一致,或者從低版本同步到高版本以保障相容性。如為高版本同步至低版本,可能存在資料庫相容性問題。 不支援同步admin和local庫中的資料。 不保留事務資訊,即源庫中的事務同步到目標庫時會轉變為單條的記錄。 在DTS將資料寫入目的地組合時,如果發生主鍵或唯一鍵衝突,DTS將直接跳過相應的資料寫入語句,保留目的地組合已有的資料。 執行資料同步前需評估源庫和目標庫的效能,同時建議業務低峰期執行資料同步。否則全量資料初始化時將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升。 全量初始化會並發執行INSERT操作,導致目標資料庫的集合產生片段,因此全量初始化完成後目標執行個體的集合空間比源執行個體的集合空間大。 若目的地組合存在唯一索引或目的地組合的capped 屬性為true 時,則在增量同步處理階段該集合不支援並發回放(只支援單線程寫入),從而可能會導致任務延遲增高。 由於DTS寫入資料的邏輯為並發寫入,所以會導致目標端佔用的儲存空間比源端大5%~10%。 目標端MongoDB的count數量需要使用db.$table_name.aggregate([{ $count:"myCount"}]) 文法查詢。 請確保目標端MongoDB沒有與源端相同的主鍵(預設為_id),否則會導致資料丟失。若目標端有與源端相同的主鍵,請在不影響業務的前提下清空目標端的相關資料(刪掉目標端中與源端相同_id的文檔)。 全量同步期間必須關閉源MongoDB資料庫的均衡器(Balancer),直至每個子任務都運行到增量階段,否則可能會造成資料不一致。關於均衡器的操作,請參見管理MongoDB均衡器Balancer。 若您無需使用DTS提供的庫表結構同步功能(例如目標端已配置好資料分區),在配置任務對象及高級配置階段中,同步類型請勿勾選庫表結構同步,否則可能會因為分區衝突而導致資料不一致或任務失敗。 若執行個體運行失敗,DTS技術支援人員將在8小時內嘗試恢複該執行個體。在恢複失敗執行個體的過程中,可能會對該執行個體進行重啟、調整參數等操作。 說明 在調整參數時,僅會修改執行個體的參數,不會對資料庫中的參數進行修改。可能修改的參數,包括但不限於修改執行個體參數中的參數。 若目標庫為分區叢集架構的MongoDB,在將業務切換為該資料庫後,您需自行確保業務行為符合該MongoDB資料庫對分區集合的要求。
|
費用說明
同步類型 | 鏈路配置費用 |
庫表結構同步和全量資料同步 | 不收費。 |
增量資料同步 | 收費,詳情請參見計費概述。 |
支援的單向同步架構
目前DTS僅支援兩個ApsaraDB for MongoDB執行個體(分區叢集架構)之間的單向同步,暫不支援多個ApsaraDB for MongoDB執行個體之間的單向同步。
任務步驟說明
同步類型 | 說明 |
庫表結構同步 | 將源ApsaraDB for MongoDB中同步對象的結構同步到目標ApsaraDB for MongoDB中。 |
全量同步 | 將源ApsaraDB for MongoDB同步對象的存量資料全部同步到目標ApsaraDB for MongoDB中。 說明 支援全量同步DATABASE和COLLECTION。 |
增量同步處理 | 在全量同步的基礎上,將源ApsaraDB for MongoDB的累加式更新同步到目標ApsaraDB for MongoDB中。 增量同步處理不支援在任務開始運行後建立的資料庫,支援同步的累加式更新如下: 支援同步的累加式更新如下: DROP DATABASE、COLLECTION RENAME COLLECTION 在集合中插入、更新、刪除文檔的操作。 說明 在同步累加式更新文檔的資料時,僅支援同步使用$set 命令更新的操作。
|
清理孤立文檔
遷移資料前您需要清除源MongoDB資料庫中的孤立文檔。
重要
如果未清除孤立文檔,將影響遷移效能,而且可能在遷移過程中會遇到_id
衝突的文檔,導致遷移錯誤的資料。
ApsaraDB for MongoDB
自建MongoDB
清理孤立文檔需要使用cleanupOrphaned
命令。在MongoDB 4.4及以上版本和MongoDB 4.2及以下版本中的使用方法略有區別,具體操作方式如下。
MongoDB 4.4及以上版本
MongoDB 4.2及以下版本
在可以串連分區叢集執行個體的伺服器上,建立一個用於清理孤立文檔的JS指令碼,指令碼名稱為cleanupOrphaned.js
。
說明
該指令碼用於清理多個Shard節點的多個資料庫中所有集合的孤立文檔。如需清理特定集合中的孤立文檔,可自行修改JS指令碼來完成。
var shardNames = ["shardName1", "shardName2"];
var databasesToProcess = ["database1", "database2", "database3"];
shardNames.forEach(function(shardName) {
databasesToProcess.forEach(function(dbName) {
var dbInstance = db.getSiblingDB(dbName);
var collectionNames = dbInstance.getCollectionNames();
collectionNames.forEach(function(collectionName) {
var fullCollectionName = dbName + "." + collectionName;
var command = {
runCommandOnShard: shardName,
command: { cleanupOrphaned: fullCollectionName }
};
var result = db.adminCommand(command);
if (result.ok) {
print("Cleaned up orphaned documents for collection " + fullCollectionName + " on shard " + shardName);
printjson(result);
} else {
print("Failed to clean up orphaned documents for collection " + fullCollectionName + " on shard " + shardName);
}
});
});
});
您需要對指令碼中的shardNames
和databasesToProcess
參數的值進行修改,具體說明如下:
在cleanupOrphaned.js
指令碼所在的目錄下,執行以下命令清理孤立文檔。
mongo --host <Mongoshost> --port <Primaryport> --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js > output.txt
參數說明如下。
參數 | 說明 |
<Mongoshost>
| 分區叢集執行個體Mongos節點的串連地址,格式為s-bp14423a2a51****.mongodb.rds.aliyuncs.com 。 |
<Primaryport>
| 分區叢集執行個體Mongos節點的連接埠號碼,預設為3717。 |
<database>
| 鑒權資料庫名,即資料庫帳號所屬的資料庫。 |
<username>
| 資料庫帳號。 |
<password>
| 資料庫帳號的密碼。 |
output.txt
| 執行結果儲存到output檔案中。 |
在可以串連分區叢集執行個體的伺服器上,建立一個用於清理孤立文檔的JS指令碼,指令碼名稱為cleanupOrphaned.js
。
說明
該指令碼用於清理多個Shard節點中指定資料庫下指定集合的孤立文檔。如需清理資料庫中多個集合的孤立文檔,您可以修改fullCollectionName
參數並多次執行,也可以自行修改指令碼通過遍曆的方式執行。
function cleanupOrphanedOnShard(shardName, fullCollectionName) {
var nextKey = { };
var result;
while ( nextKey != null ) {
var command = {
runCommandOnShard: shardName,
command: { cleanupOrphaned: fullCollectionName, startingFromKey: nextKey }
};
result = db.adminCommand(command);
printjson(result);
if (result.ok != 1 || !(result.results.hasOwnProperty(shardName)) || result.results[shardName].ok != 1 ) {
print("Unable to complete at this time: failure or timeout.")
break
}
nextKey = result.results[shardName].stoppedAtKey;
}
print("cleanupOrphaned done for coll: " + fullCollectionName + " on shard: " + shardName)
}
var shardNames = ["shardName1", "shardName2", "shardName3"]
var fullCollectionName = "database.collection"
shardNames.forEach(function(shardName) {
cleanupOrphanedOnShard(shardName, fullCollectionName);
});
您需要對指令碼中的shardNames
和fullCollectionName
參數的值進行修改,具體說明如下:
在cleanupOrphaned.js
指令碼所在的目錄下,執行以下命令清理孤立文檔。
mongo --host <Mongoshost> --port <Primaryport> --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js > output.txt
參數說明如下。
參數 | 說明 |
<Mongoshost>
| 分區叢集執行個體Mongos節點的串連地址,格式為s-bp14423a2a51****.mongodb.rds.aliyuncs.com 。 |
<Primaryport>
| 分區叢集執行個體Mongos節點的連接埠號碼,預設為3717。 |
<database>
| 鑒權資料庫名,即資料庫帳號所屬的資料庫。 |
<username>
| 資料庫帳號。 |
<password>
| 資料庫帳號的密碼。 |
output.txt
| 執行結果儲存到output檔案中。 |
在可以串連自建MongoDB資料庫的伺服器上下載cleanupOrphaned.js指令檔。
wget "https://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/120562/cn_zh/1564451237979/cleanupOrphaned.js"
修改cleanupOrphaned.js指令檔,將test
替換為待清理孤立文檔的資料庫名。
重要
如果您有多個資料庫,您需要重複執行步驟2~步驟3。

執行如下命令,清理Shard節點中指定資料庫下所有集合的孤立文檔。
說明
您需要重複執行本步驟,為每個Shard節點清理孤立文檔。
mongo --host <Shardhost> --port <Primaryport> --authenticationDatabase <database> -u <username> -p <password> cleanupOrphaned.js
說明
<Shardhost>:Shard節點的IP地址。
<Primaryport>:Shard節點中的Primary節點的服務連接埠。
<database>:鑒權資料庫名,即資料庫帳號所屬的資料庫。
<username>:登入資料庫的帳號。
<password>:登入資料庫的密碼。
樣本:
本案例的自建MongoDB資料庫有三個Shard節點,所以需要分別為這三個節點清除孤立文檔。
mongo --host 172.16.1.10 --port 27018 --authenticationDatabase admin -u dtstest -p 'Test123456' cleanupOrphaned.js
mongo --host 172.16.1.11 --port 27021 --authenticationDatabase admin -u dtstest -p 'Test123456' cleanupOrphaned.js
mongo --host 172.16.1.12 --port 27024 --authenticationDatabase admin -u dtstest -p 'Test123456' cleanupOrphaned.js
操作步驟
重要
本文以先配置後購買DTS任務為例,無需填寫源ApsaraDB for MongoDB(分區叢集架構)下的Shard數量。
如您先購買後配置DTS任務,則需要在購買DTS任務時填寫其正確的Shard數量。
進入目標地區的同步工作清單頁面(二選一)。
單擊創建任務,進入任務配置頁面。
配置源庫及目標庫資訊。
類別 | 配置 | 說明 |
無 | 任務名稱 | DTS會自動產生一個任務名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。 |
源庫資訊 | 選擇已有串連資訊 | |
資料庫類型 | 選擇MongoDB。 |
接入方式 | 選擇雲執行個體。 |
執行個體地區 | 選擇源ApsaraDB for MongoDB所屬地區。 |
是否跨阿里雲帳號 | 本樣本使用當前阿里雲帳號下的資料庫執行個體,需選擇不跨帳號。 |
架構類型 | 選擇分區叢集架構。 |
遷移方式 | |
執行個體ID | 選擇源ApsaraDB for MongoDB執行個體ID。 |
鑒權資料庫名稱 | 填入源ApsaraDB for MongoDB執行個體資料庫帳號所屬的資料庫名稱,若未修改過則預設為admin。 |
資料庫帳號 | 填入源ApsaraDB for MongoDB的資料庫帳號,需具備待同步庫、config庫、admin庫和local庫的read許可權。 |
資料庫密碼 | 填入該資料庫帳號對應的密碼。 |
Shard賬號 | 填入源ApsaraDB for MongoDB的資料庫Shard帳號。 說明 若您的源庫為自建MongoDB資料庫,還需要在上方填入Shard節點的shard接入資訊。 |
Shard密碼 | 填入源ApsaraDB for MongoDB的資料庫Shard密碼。 |
串連方式 | DTS支援非加密串連、SSL安全連線和Mongo Atlas SSL三種串連方式。串連方式的選項與接入方式和架構類型有關,請以控制台為準。 |
目標庫資訊 | 選擇已有串連資訊 | |
資料庫類型 | 選擇MongoDB。 |
接入方式 | 選擇雲執行個體。 |
執行個體地區 | 選擇目標ApsaraDB for MongoDB所屬地區。 |
是否跨阿里雲帳號 | 本樣本使用當前阿里雲帳號下的資料庫執行個體,需選擇不跨帳號。 |
架構類型 | 選擇目標ApsaraDB for MongoDB所屬的架構類型。 |
執行個體ID | 選擇目標ApsaraDB for MongoDB執行個體ID。 |
鑒權資料庫名稱 | 填入目標ApsaraDB for MongoDB執行個體資料庫帳號所屬的資料庫名稱,若未修改過則預設為admin。 |
資料庫帳號 | 填入目標ApsaraDB for MongoDB的資料庫帳號,需具備dbAdminAnyDatabase許可權、目標庫的readWrite許可權和local庫的read許可權。 |
資料庫密碼 | 填入該資料庫帳號對應的密碼。 |
串連方式 | DTS支援非加密串連、SSL安全連線和Mongo Atlas SSL三種串連方式。串連方式的選項與接入方式和架構類型有關,請以控制台為準。 |
配置完成後,在頁面下方單擊測試連接以進行下一步。
配置任務對象。
在對象配置頁面,配置待同步的對象。
配置 | 說明 |
同步類型 | 固定選中增量同步處理。預設情況下,您還需要同時選中庫表結構同步和全量同步。預檢查完成後,DTS會將源執行個體中待同步對象的全量資料在目的地組群中初始化,作為後續增量同步處理資料的基準資料。 |
同步拓撲 | 請選擇單向同步。 |
目標已存在表的處理模式 | |
目標庫對象名稱大小寫策略 | 您可以配置目標執行個體中同步對象的庫名、表名和列名的英文大小寫策略。預設情況下選擇DTS預設策略,您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊,請參見目標庫對象名稱大小寫策略。 |
源庫對象 | 在源庫對象框中單擊待同步對象,然後單擊 將其移動至已選擇對象框。 說明 同步對象的選擇粒度為DATABASE、COLLECTION。 |
已選擇對象 | 說明 如需按庫或集合層級選擇增量同步處理的操作,請在已選擇對象中右擊待同步的對象,並在彈出的對話方塊中進行選擇。 如需設定條件過濾資料(全量同步階段支援條件過濾資料,增量同步處理階段不支援),請在已選擇對象中右擊待同步的表,並在彈出的對話方塊中進行設定。設定方法,請參見設定過濾條件。 如果使用了對象名映射功能(指定用於接收資料的資料庫或集合),可能會導致依賴這個對象的其他對象同步失敗。
|
單擊下一步高級配置,進行進階參數配置。
配置 | 說明 |
選擇調度該任務的專屬叢集 | DTS預設將任務調度到共用叢集上,您無需選擇。若您希望任務更加穩定,可以購買專屬叢集來運行DTS同步任務。更多資訊,請參見什麼是DTS專屬叢集。 |
源庫、目標庫無法串連後的重試時間 | 在同步任務啟動後,若源庫或目標庫串連失敗則DTS會報錯,並會立即進行持續的重試串連,預設持續重試時間為720分鐘,您也可以在取值範圍(10~1440分鐘)內自訂重試時間,建議設定30分鐘以上。如果DTS在設定的重試時間內重新串連上源庫、目標庫,同步任務將自動回復。否則,同步任務將會失敗。 |
源庫、目標庫出現其他問題後的重試時間 | 在同步任務啟動後,若源庫或目標庫出現非串連性的其他問題(如DDL或DML執行異常),則DTS會報錯並會立即進行持續的重試操作,預設持續重試時間為10分鐘,您也可以在取值範圍(1~1440分鐘)內自訂重試時間,建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功,同步任務將自動回復。否則,同步任務將會失敗。 重要 源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。 |
是否限制全量遷移速率 | 在全量同步階段,DTS將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升。您可以根據實際情況,選擇是否對全量同步任務進行限速設定(設定每秒查詢源庫的速率QPS、每秒全量遷移的行數RPS和每秒全量遷移的數據量(MB)BPS),以緩解目標庫的壓力。 |
同一張表內主鍵_id的資料類型是否唯一 | 待同步的資料中,同一個集合內主鍵_id 的資料類型是否唯一。 重要 請根據實際情況選擇,否則可能會導致資料丟失。 僅當同步類型選擇了全量同步時才可以配置。
|
是否限制增量同步處理速率 | 您也可以根據實際情況,選擇是否對增量同步處理任務進行限速設定(設定每秒增量同步處理的行數RPS和每秒增量同步處理的數據量(MB)BPS),以緩解目標庫的壓力。 |
環境標籤 | 您可以根據實際情況,選擇用於標識執行個體的環境標籤。本樣本無需選擇。 |
配置ETL功能 | 選擇是否配置ETL功能。關於ETL的更多資訊,請參見什麼是ETL。 |
監控警示 | 是否設定警示,當同步失敗或延遲超過閾值後,將通知警示連絡人。 |
單擊下一步資料校正,進行資料校正任務配置。
若您需要使用資料校正功能,配置方法請參見配置資料校正。
儲存任務並進行預檢查。
購買執行個體。
預檢查通過率顯示為100%時,單擊下一步購買。
在購買頁面,選擇資料同步執行個體的計費方式、鏈路規格,詳細說明請參見下表。
類別 | 參數 | 說明 |
資訊配置 | 計費方式 | |
資源群組配置 | 執行個體所屬的資源群組,預設為default resource group。更多資訊,請參見什麼是資源管理。 |
鏈路規格 | DTS為您提供了不同效能的同步規格,同步鏈路規格的不同會影響同步速率,您可以根據業務情境進行選擇。更多資訊,請參見資料同步鏈路規格說明。 |
訂購時間長度 | 在預付費模式下,選擇訂用帳戶執行個體的時間長度和數量,包月可選擇1~9個月,包年可選擇1年、2年、3年和5年。 |
配置完成後,閱讀並勾選《資料轉送(隨用隨付)服務條款》。
單擊購買並啟動,並在彈出的確認對話方塊,單擊確定。
您可在資料同步介面查看具體任務進度。