ApsaraDB for MongoDB：使用DTS將MongoDB Atlas資料庫遷移至阿里雲

注意事項

• DTS在執行全量資料移轉時將佔用源庫和目標庫一定的資源，可能會導致資料庫伺服器負載上升。如果資料庫業務量較大或伺服器規格較低，可能會加重資料庫壓力，甚至導致資料庫服務不可用。建議您在執行資料移轉前謹慎評估，在業務低峰期執行資料移轉。

• 不支援遷移admin和local資料庫。

• config資料庫屬於系統內部資料庫，如無特殊需求，請勿遷移該庫。

• 阿里雲MongoDB執行個體支援的版本與儲存引擎請參見版本及儲存引擎，如需跨版本或跨引擎遷移，請提前確認相容性。

• 由於DTS寫入資料的邏輯為並發寫入，所以會導致目標端佔用的儲存空間比源端大5%~10%。

• 請確保目標端MongoDB沒有與源端相同的主鍵（預設為_id），否則會導致資料丟失。若目標端有與源端相同的主鍵，請在不影響業務的前提條件下清空目標端的相關資料（刪掉目標端中與源端相同_id的文檔）。

費用說明

遷移類型說明

資料庫帳號的許可權要求

資料庫帳號建立及授權方法：

• MongoDB Atlas資料庫請參見MongoDB Create User說明。

• 阿里雲MongoDB執行個體請參見使用DMS管理MongoDB資料庫使用者。

準備工作

1. 登入MongoDB Atlas資料庫控制台。

2. 在左側導覽列，單擊Network Access。

3. 在IP Access List頁簽，單擊Add IP Address。

4. 將對應地區DTS服務的IP地址添加到安全規則中，更多資訊請參見添加IP地址和添加DTS伺服器的IP位址區段。

   說明

   執行此步驟將允許DTS訪問您的MongoDB Atlas資料庫，遷移完成後請刪除該規則。

操作步驟（新版控制台）

1. 進入目標地區的遷移工作清單頁面（二選一）。

   通過DTS控制台進入

   1. 登入Data Transmission Service控制台。

   2. 在左側導覽列，單擊資料移轉。

   3. 在頁面左上方，選擇遷移執行個體所屬地區。

   通過DMS控制台進入

   說明

   實際操作可能會因DMS的模式和布局不同，而有所差異。更多資訊。請參見極簡模式控制台和自訂DMS介面布局與樣式。

   1. 登入Data Management服務。

   2. 在頂部功能表列中，選擇整合與開發 > 資料轉送（DTS） > 資料移轉。

   3. 在遷移任務右側，選擇遷移執行個體所屬地區。

2. 單擊建立任務，配置源庫及目標庫資訊。

   警告

   選擇源和目標執行個體後，建議您仔細閱讀頁面上方顯示的使用限制，否則可能會導致任務失敗或資料不一致。

   類別	配置	說明
   無	任務名稱	DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
   源庫資訊	選擇已有串連資訊	您可以按實際需求，選擇是否使用已有執行個體。 如使用已有執行個體，下方資料庫資訊將自動填入，您無需重複輸入。 如不使用已有執行個體，您需要輸入下方的資料庫資訊。
   	資料庫類型	選擇MongoDB。
   	接入方式	選擇公網IP。
   	執行個體地區	選擇MongoDB Atlas資料庫所屬地區。 說明 若選項中沒有MongoDB Atlas資料庫所屬的地區，您可以選擇一個該資料庫距離最近的地區。
   	架構類型	選擇複本集架構。
   	網域名稱或IP地址	填入MongoDB Atlas資料庫中，PRIMARY節點的訪問地址。 說明 您可以在MongoDB Atlas控制台中擷取。
   	連接埠	填入MongoDB Atlas的服務連接埠，預設為27017。
   	鑒權資料庫名稱	填入MongoDB Atlas的鑒權資料庫名稱，即資料庫帳號所屬的資料庫。
   	資料庫帳號	填入MongoDB Atlas的資料庫帳號，許可權要求請參見資料庫帳號的許可權要求。
   	資料庫密碼	填入該資料庫帳號對應的密碼。
   	串連方式	選擇Mongo Atlas SSL。
   目標庫資訊	選擇已有串連資訊	您可以按實際需求，選擇是否使用已有執行個體。 如使用已有執行個體，下方資料庫資訊將自動填入，您無需重複輸入。 如不使用已有執行個體，您需要輸入下方的資料庫資訊。
   	資料庫類型	選擇MongoDB。
   	接入方式	選擇雲執行個體。
   	執行個體地區	選擇目標阿里雲MongoDB執行個體所屬地區。
   	架構類型	根據您的業務需求選擇架構，取值為： 複本集架構：通過部署多種節點來達到高可用和讀寫分離的效果，詳細資料，請參見複本集架構。 分區叢集架構：提供Mongos、Shard和ConfigServer三種組件，可自由選擇Mongos和Shard的個數和配置，詳細資料，請參見分區叢集架構。
   	執行個體ID	選擇目標阿里雲MongoDB執行個體ID。
   	鑒權資料庫名稱	填入鑒權資料庫名，即資料庫帳號所屬的資料庫。 說明 如果使用的資料庫帳號為root，那麼對應的資料庫名稱即為admin。
   	資料庫帳號	填入目標阿里雲MongoDB執行個體的資料庫帳號，許可權要求請參見資料庫帳號的許可權要求。
   	資料庫密碼	填入該資料庫帳號對應的密碼。

3. 配置完成後，單擊頁面下方的測試連接以進行下一步。

4. 如果您的自建資料庫具備白名單安全設定，您需要複製彈跳框中的DTS伺服器IP地址，並加入自建資料庫的白名單安全設定中。然後單擊測試連接。

   警告

   DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

5. 配置任務對象及進階配置。

   配置	說明
   遷移類型	如果只需要進行全量遷移，請同時選中庫表結構遷移和全量遷移。 如果需要進行不停機遷移，請同時選中庫表結構遷移、全量遷移和增量遷移。 說明 如果未選擇增量遷移，為保障資料一致性，資料移轉期間請勿在源執行個體中寫入新的資料。
   目標已存在表的處理模式	預檢查並報錯攔截：檢查目標資料庫中是否有同名的集合。如果目標資料庫中沒有同名的集合，則通過該檢查專案；如果目標資料庫中有同名的集合，則在預檢查階段提示錯誤，資料同步任務不會被啟動。 說明 如果目標庫中同名的集合不方便刪除或重新命名，您可以更改該集合在目標庫中的名稱，詳情請參見設定同步對象在目標執行個體中的名稱。 忽略報錯並繼續執行：跳過目標資料庫中是否有同名集合的檢查項。 警告 選擇為忽略報錯並繼續執行，可能導致資料不一致，給業務帶來風險，例如： 在目標庫遇到與源庫主鍵的值相同的記錄，則會保留目標庫中的該條記錄，即源庫中的該條記錄不會同步至目標庫中。 可能會導致無法初始化資料、只能同步部分的資料或同步失敗。
   目標庫對象名稱大小寫策略	您可以配置目標執行個體中同步對象的庫名和集合名的英文大小寫策略。預設情況下選擇DTS預設策略，您也可以選擇與源庫或目標庫預設策略保持一致。更多資訊，請參見目標庫對象名稱大小寫策略。
   源庫對象	在源庫對象框中選擇待遷移對象，然後單擊將其移動至已選擇對象框。 說明 遷移對象的選擇粒度為DATABASE、COLLECTION。
   已選擇對象	如需更改單個遷移對象在目標執行個體中的名稱，請右擊已選擇對象中的遷移對象，設定方式，請參見庫表列名單個映射。 如需批量更改遷移對象在目標執行個體中的名稱，請單擊已選擇對象方框右上方的大量編輯，設定方式，請參見庫表列名批量映射。 說明 如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象遷移失敗。 如需設定WHERE條件過濾資料，請在已選擇對象中右擊待遷移的對象，在彈出的對話方塊中設定過濾條件。設定方法請參見設定過濾條件。 全量遷移階段支援條件過濾資料，增量遷移階段不支援條件資料過濾。SQL條件過濾需要符合MongoDB文法規範，如下所示： {"_id":{$lte:"user100844658590795****"}}

6. 單擊下一步高級配置，進行進階配置。

   • 數據校正配置

     若您需要使用資料校正功能，配置方法請參見配置資料校正。

   • 高級配置

     配置	說明
     監控警示	是否設定警示，當遷移失敗或延遲超過閾值後，將通知警示連絡人。 不設定：不設定警示。 設定：設定警示，您還需要設定警示閾值和警示通知。更多資訊，請參見在配置任務過程中配置監控警示。
     源庫、目標庫無法串連後的重試時間	在遷移任務啟動後，若源庫或目標庫串連失敗則DTS會報錯，並會立即進行持續的重試串連，預設重試720分鐘，您也可以在取值範圍（10~1440分鐘）內自訂重試時間，建議設定30分鐘以上。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。 說明 針對同源或者同目標的多個DTS執行個體，網路重試時間以後建立任務的設定為準。 由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
     源庫、目標庫出現其他問題後的重試時間	在遷移任務啟動後，若源庫或目標庫出現非串連性的其他問題（如DDL或DML執行異常），則DTS會報錯並會立即進行持續的重試操作，預設持續重試時間為10分鐘，您也可以在取值範圍（1~1440分鐘）內自訂重試時間，建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功，遷移任務將自動回復。否則，遷移任務將會失敗。 重要 源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
     是否限制全量遷移速率	在全量遷移階段，DTS將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升。您可以根據實際情況，選擇是否對全量遷移任務進行限速設定（設定每秒查詢源庫的速率QPS、每秒全量遷移的行數RPS和每秒全量遷移的數據量MB），以緩解目標庫的壓力。 說明 僅當遷移類型選擇了全量遷移時才可以配置。
     是否限制增量遷移速率	您也可以根據實際情況，選擇是否對增量遷移任務進行限速設定（設定每秒增量遷移的行數RPS和每秒增量遷移的數據量MB），以緩解目標庫的壓力。 說明 僅當遷移類型選擇了增量遷移時才可以配置。
     配置ETL功能	選擇是否配置ETL功能。關於ETL的更多資訊，請參見什麼是ETL。 是：配置ETL功能，並在文字框中填寫資料處理語句，詳情請參見在DTS遷移或同步任務中配置ETL。 否：不配置ETL功能。

7. 上述配置完成後，單擊頁面下方的下一步儲存任務並預檢查。

   您可以將滑鼠游標移動至下一步儲存任務並預檢查按鈕上，然後單擊氣泡中的預覽OpenAPI參數，查看調用API介面配置該執行個體時的參數資訊。

   說明

   • 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。

   • 如果預檢查失敗，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。

   • 如果預檢查產生警告：

     • 對於不可以忽略的檢查項，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。

     • 對於可以忽略無需修複的檢查項，您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查，跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項，可能會導致資料不一致等問題，給業務帶來風險。

8. 預檢查通過率顯示為100%時，單擊下一步購買。

9. 在購買頁面，選擇資料移轉執行個體的鏈路規格，詳細說明請參見下表。

   類別	參數	說明
   資訊配置	資源群組配置	選擇執行個體所屬的資源群組，預設為default resource group。更多資訊，請參見什麼是資源管理。
   	鏈路規格	DTS為您提供了不同效能的遷移規格，遷移鏈路規格的不同會影響遷移速率，您可以根據業務情境進行選擇。更多資訊，請參見資料移轉鏈路規格說明。

10. 配置完成後，閱讀並選中《資料轉送（隨用隨付）服務條款》。

11. 單擊購買並啟動，並在彈出的確認對話方塊，單擊確定。

    您可在資料移轉介面查看具體進度。

操作步驟（舊版控制台）

1. 購買資料移轉執行個體，詳情請參見購買資料移轉任務。

2. 登入資料轉送控制台。

   說明

   若資料轉送控制台自動跳轉至Data Management控制台，您可以在右下角的中單擊，返回至舊版資料轉送控制台。

3. 在左側導覽列，單擊資料移轉。

4. 在遷移工作清單頁面頂部，選擇阿里雲MongoDB執行個體所屬地區。

5. 定位至已購買的資料移轉執行個體，單擊配置遷移任務。

6. 配置遷移任務的源庫及目標庫資訊。

   

   類別	配置	說明
   無	任務名稱	DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
   源庫資訊	執行個體類型	選擇有公網IP的自建資料庫。
   	執行個體地區	當執行個體類型選擇為有公網IP的自建資料庫時，執行個體地區無需設定。
   	資料庫類型	選擇MongoDB。
   	主機名稱或IP地址	填入MongoDB Atlas資料庫中，PRIMARY節點的訪問地址。 您可以在MongoDB Atlas控制台中擷取，詳細步驟請參見下圖。
   	連接埠	填入MongoDB Atlas資料庫的服務連接埠，預設為27017。
   	資料庫名稱	填入鑒權資料庫名，即資料庫帳號所屬的資料庫。
   	資料庫帳號	填入MongoDB Atlas的資料庫帳號，許可權要求請參見資料庫帳號的許可權要求。
   	資料庫密碼	填入該資料庫帳號的密碼。 說明 源庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的源庫資訊是否正確。源庫資訊填寫正確則提示測試通過，如提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的源庫資訊。
   	串連方式	選擇SSL安全連線。
   目標庫資訊	執行個體類型	選擇MongoDB執行個體。
   	執行個體地區	選擇阿里雲MongoDB執行個體所屬地區。
   	MongoDB執行個體ID	選擇阿里雲MongoDB執行個體ID。
   	資料庫名稱	填入鑒權資料庫名，即資料庫帳號所屬的資料庫。 說明 如果使用的資料庫帳號為root，那麼對應的資料庫名稱即為admin。
   	資料庫帳號	填入阿里雲MongoDB執行個體的資料庫帳號，許可權要求請參見資料庫帳號的許可權要求。
   	資料庫密碼	填入該資料庫帳號的密碼。 說明 目標庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的目標庫資訊是否正確。目標庫資訊填寫正確則提示測試通過，如提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的目標庫資訊。

7. 完成上述配置後，單擊頁面右下角的授權白名單並進入下一步。

   如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。

   警告

   DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

8. 選擇遷移類型和遷移對象。

   配置	說明
   遷移類型	如果只需要進行全量遷移，在遷移類型選擇時勾選全量資料移轉。 如果需要進行不停機遷移，在遷移類型選擇時勾選全量資料移轉和增量資料移轉。 說明 如果未勾選增量資料移轉，為保障資料一致性，資料移轉期間請勿在源庫中寫入新的資料。
   遷移對象	在遷移對象框中單擊待遷移的對象，然後單擊將其移動到已選擇對象框。 說明 不支援遷移admin、local、config資料庫。 遷移對象選擇的粒度為：database、collection或function。 預設情況下，遷移對象的名稱不變。如果您改變遷移對象在阿里雲MongoDB資料庫中的名稱，需要使用DTS提供的對象名映射功能。使用方法請參見庫表列映射。
   映射名稱更改	如需更改遷移對象在目標執行個體中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。
   源、目標庫無法串連重試時間	預設重試12小時，您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。 說明 由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

9. 上述配置完成後，單擊頁面右下角的預檢查並啟動。

   說明

   • 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。

   • 如果預檢查失敗，單擊具體檢查項後的，查看失敗詳情。

     • 您可以根據提示修複後重新進行預檢查。

     • 如無需修複警示檢測項，您也可以選擇確認屏蔽、忽略警示項並重新進行預檢查，跳過警示檢測項重新進行預檢查。

10. 預檢查通過後，單擊下一步。

11. 在購買配置確認頁面，選擇鏈路規格並勾選資料轉送（隨用隨付）服務條款。

12. 單擊購買並啟動，遷移任務正式開始。

    • 全量資料移轉

      請勿手動結束遷移任務，否則可能會導致資料不完整。您只需等待遷移任務完成即可，遷移任務會自動結束。

    • 增量資料移轉

      遷移任務不會自動結束，需要手動結束遷移任務。

      說明

      請選擇合適的時間手動結束遷移任務，例如業務低峰期或準備將業務切換至阿里雲MongoDB執行個體時。

      1. 觀察遷移任務的進度變更為增量遷移，並顯示為無延遲狀態時，將源庫停寫幾分鐘，此時增量遷移的狀態可能會顯示延遲的時間。

      2. 等待遷移任務的增量遷移再次進入無延遲狀態，手動結束遷移任務。

13. 將業務切換至阿里雲MongoDB執行個體。