本文介紹如何使用Data Transmission Service,將ApsaraDB for MongoDB(複本集架構或分區叢集架構)遷移至雲原生多模資料庫Lindorm。
前提條件
當前僅支援德國(法蘭克福)地區間的遷移任務。
ApsaraDB for MongoDB為複本集架構或分區叢集架構。
重要若源庫為分區叢集架構的ApsaraDB for MongoDB,則需為所有Shard節點申請串連地址,且各Shard的帳號和密碼需保持一致。申請方法,請參見申請Shard或ConfigServer節點串連地址。
已建立目標雲原生多模資料庫Lindorm執行個體,且資料庫引擎為寬表引擎,建立方式請參見建立執行個體。
已根據業務需求在Lindorm中建立寬表,建立方式請參見通過Lindorm-cli串連並使用寬表引擎或通過Lindorm Shell訪問寬表引擎。
說明若Lindorm中的寬表是用HBase建立的,建議您為表添加列映射關係(即寬表的列為普通列),詳情請參見HBase表添加列映射樣本。
建議目標執行個體的儲存空間比來源資料庫已使用的儲存空間大10%。
注意事項
類型 | 說明 |
源庫限制 |
|
其他限制 |
|
費用說明
遷移類型 | 鏈路配置費用 | 公網流量費用 |
全量資料移轉 | 不收費。 | 通過公網將資料移轉出阿里雲時將收費,詳情請參見計費概述。 |
增量資料移轉 | 收費,詳情請參見計費概述。 |
遷移類型說明
遷移類型 | 說明 |
全量遷移 | 將源ApsaraDB for MongoDB遷移對象的存量資料全部遷移到目標雲原生多模資料庫Lindorm中。 說明 支援全量遷移DATABASE和COLLECTION中的資料。 |
增量遷移 | 在全量遷移的基礎上,將源ApsaraDB for MongoDB的累加式更新遷移到目標雲原生多模資料庫Lindorm中。 說明
|
資料庫帳號的許可權要求
資料庫 | 全量遷移 | 增量遷移 | 帳號建立及授權方法 |
源ApsaraDB for MongoDB | 待遷移庫的read許可權。 | 待遷移庫、admin庫和local庫的read許可權。 | |
目標雲原生多模資料庫Lindorm | 雲原生多模資料庫Lindorm的read和write許可權。 |
操作步驟
本操作的目標庫以Lindorm SQL建立的寬表為例進行介紹。
進入目標地區的遷移工作清單頁面(二選一)。
通過DTS控制台進入
在左側導覽列,單擊資料移轉。
在頁面左上方,選擇遷移執行個體所屬地區。
通過DMS控制台進入
說明實際操作可能會因DMS的模式和布局不同,而有所差異。更多資訊。請參見極簡模式控制台和自訂DMS介面布局與樣式。
在頂部功能表列中,選擇
。在遷移任務右側,選擇遷移執行個體所屬地區。
單擊創建任務,進入任務配置頁面。
可選:在頁面右上方,單擊試用新版配置頁。
說明若您已進入新版配置頁(頁面右上方的按鈕為返回舊版配置頁),則無需執行此操作。
新版配置頁和舊版配置頁部分參數有差異,建議使用新版配置頁。
配置源庫及目標庫資訊。
類別
配置
說明
無
任務名稱
DTS會自動產生一個任務名稱,建議配置具有業務意義的名稱(無唯一性要求),便於後續識別。
源庫資訊
選擇已有串連資訊
您可以按實際需求,選擇是否使用已有資料庫執行個體。
如使用已有執行個體,下方資料庫資訊將自動填入,您無需重複輸入。
如不使用已有執行個體,您需要配置下方的資料庫資訊。
說明您可以在資料連線管理頁面或新版配置頁面,將資料庫錄入DTS。更多資訊,請參見資料連線管理。
DMS控制台的配置項為選擇DMS資料庫執行個體,您可以單擊新增DMS資料庫執行個體或在控制台首頁將資料庫錄入DMS。更多資訊,請參見雲資料庫錄入和他雲/自建資料庫錄入。
資料庫類型
選擇MongoDB。
接入方式
選擇雲執行個體。
執行個體地區
選擇源ApsaraDB for MongoDB所屬地區。
是否跨阿里雲帳號
本樣本為同一阿里雲帳號間的遷移,選擇不跨帳號。
架構類型
本樣本選擇複本集架構。
說明若架構類型選擇則為分區叢集架構,您還需填寫Shard賬號和Shard密碼。
遷移方式
請根據實際情況,選擇增量資料移轉的方式。
Oplog(推薦):
若源庫已開啟Oplog日誌,則支援此選項。
說明本地自建MongoDB和ApsaraDB for MongoDB預設已開啟Oplog日誌,且使用此方式遷移增量資料時增量遷移任務的延遲較小(拉取日誌的速度較快),因此推薦選擇Oplog。
ChangeStream:若源庫已開啟變更流(Change Streams),則支援此選項。
說明源庫為Amazon DocumentDB(非彈性叢集)時,僅支援選擇ChangeStream。
源庫架構類型選擇為分區叢集架構,無需填寫Shard賬號和Shard密碼。
執行個體ID
選擇源ApsaraDB for MongoDB執行個體ID。
鑒權資料庫名稱
填入源ApsaraDB for MongoDB執行個體中資料庫帳號所屬的資料庫名稱,若未修改過則預設為admin。
資料庫帳號
填入源ApsaraDB for MongoDB的資料庫帳號。
資料庫密碼
填入該資料庫帳號對應的密碼。
串連方式
DTS支援非加密串連、SSL安全連線和Mongo Atlas SSL三種串連方式。串連方式的選項與接入方式和架構類型有關,請以控制台為準。
說明架構類型為分區叢集架構,且遷移方式為Oplog的MongoDB資料庫,不支援SSL安全連線。
若源庫為自建(接入方式不為雲執行個體)複本集架構的MongoDB資料庫,並且選擇了SSL安全連線,DTS還支援上傳CA認證對串連進行校正。
目標庫資訊
選擇已有串連資訊
您可以按實際需求,選擇是否使用已有資料庫執行個體。
如使用已有執行個體,下方資料庫資訊將自動填入,您無需重複輸入。
如不使用已有執行個體,您需要配置下方的資料庫資訊。
說明您可以在資料連線管理頁面或新版配置頁面,將資料庫錄入DTS。更多資訊,請參見資料連線管理。
DMS控制台的配置項為選擇DMS資料庫執行個體,您可以單擊新增DMS資料庫執行個體或在控制台首頁將資料庫錄入DMS。更多資訊,請參見雲資料庫錄入和他雲/自建資料庫錄入。
資料庫類型
選擇Lindorm。
接入方式
選擇雲執行個體。
執行個體地區
選擇目標雲原生多模資料庫Lindorm所屬地區。
執行個體ID
選擇目標雲原生多模資料庫Lindorm的執行個體ID。
資料庫帳號
填入目標雲原生多模資料庫Lindorm的資料庫帳號。
資料庫密碼
填入該資料庫帳號對應的密碼。
配置完成後,在頁面下方單擊測試連接以進行下一步。
說明請確保DTS服務的IP位址區段能夠被自動或手動添加至源庫和目標庫的安全設定中,以允許DTS伺服器的訪問。更多資訊,請參見添加DTS伺服器的IP位址區段。
若源庫或目標庫為自建資料庫(接入方式不是雲執行個體),則還需要在彈出的DTS伺服器訪問授權對話方塊單擊測試連接。
配置任務對象。
在對象配置頁面,配置待遷移的對象。
配置
說明
遷移類型
如果只需要進行全量遷移,請選中全量遷移。
如果需要進行不停機遷移,請同時選中全量遷移和增量遷移。
說明若未選中增量遷移,為保障資料一致性,資料移轉期間請勿在源執行個體中寫入新的資料。
目標已存在表的處理模式
無需配置,保持預設即可。
目標庫對象名稱大小寫策略
您可以配置目標執行個體中遷移對象的庫名、集合名的英文大小寫策略。預設情況下選擇DTS預設策略,您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊,請參見目標庫對象名稱大小寫策略
源庫對象
在源庫對象框中單擊待遷移的集合,然後單擊
將其移動至已選擇對象框。
已選擇對象
若目標庫中的寬表是通過Lindorm SQL建立的,需要通過配置新增列的方式遷移資料,未配置的列不會遷移至目標庫。
編輯庫名映射。
按右鍵已選擇對象中的待遷移集合所屬的庫。
將Schema名稱修改為Lindorm中目標庫的名稱。
可選:在勾選所需同步的DML&DDL操作地區選取項目所需增量遷移的操作。
單擊確定。
編輯表名映射。
右擊已選擇對象中的待遷移的集合。
將表名稱修改為Lindorm中目標表的名稱。
可選:設定過濾條件,設定方法請參見設定過濾條件。
可選:在勾選所需同步的DML&DDL操作地區選取項目所需增量遷移的操作。
配置MongoDB中需要遷移的欄位(Field)。
DTS預設會對待遷移集合的資料進行映射,在賦值列配置運算式。您需要檢查運算式是否符合您的要求,並配置列名稱、類型、長度和精度等資訊。
在賦值列的
bson_value()
運算式中,查看該行資料在MongoDB中的欄位名稱。""
中的欄位,即為MongoDB中的欄位名稱。例如,運算式為bson_value("age")
,則該行資料對應MongoDB中的age
欄位。可選:刪除無需遷移的欄位。
說明對於無需遷移的欄位,您可以單擊該行資料後的
。
配置待遷移的欄位。
根據
bson_value()
運算式是否符合您的要求,進行後續操作。運算式符合要求的欄位
填寫列名稱。
說明此處填寫的是Lindorm中目標表的列名。
若目標表是用SQL建立的,列名稱填寫的是Lindorm中目標表的列名。
若目標表是用HBase建立的且需要使用新增列功能,在修改列名稱前您需要提前添加列映射關係,詳情請參見HBase表添加列映射樣本。列名稱填寫內容如下:
該列是主鍵:填寫為ROW。
該列不是主鍵:填寫格式為列族:列名,如person:name。
選擇列資料的類型。
重要請務必確保目標表的資料類型與源MongoDB的資料相容。
可選:配置列資料的長度和精度。
重複上述操作,將相關欄位逐一進行映射。
運算式不符合要求的欄位
說明例如,含層級關係(父子結構)的欄位。
在操作列,單擊該行資料後的
。
單擊+ 新增列。
配置列名稱、類型、長度和精度。
在賦值下方的文字框中填寫
bson_value()
運算式,詳情請參見賦值配置樣本。重要目標表的主鍵列必須賦值為
bson_value("_id")
。在配置
bson_value()
運算式時,需要按照層級關係配置到最小子欄位,否則可能會導致資料丟失或任務失敗。
重複上述操作,將相關欄位逐一進行映射。
單擊確定。
單擊下一步高級配置,進行進階參數配置。
配置
說明
選擇調度該任務的專屬叢集
DTS預設將任務調度到共用叢集上,您無需選擇。若您希望任務更加穩定,可以購買專屬叢集來運行DTS遷移任務。更多資訊,請參見什麼是DTS專屬叢集。
源庫、目標庫無法串連後的重試時間
在遷移任務啟動後,若源庫或目標庫串連失敗則DTS會報錯,並會立即進行持續的重試串連,預設重試720分鐘,您也可以在取值範圍(10~1440分鐘)內自訂重試時間,建議設定30分鐘以上。如果DTS在設定的時間內重新串連上源、目標庫,遷移任務將自動回復。否則,遷移任務將失敗。
說明針對同源或者同目標的多個DTS執行個體,網路重試時間以後建立任務的設定為準。
由於串連重試期間,DTS將收取任務運行費用,建議您根據業務需要自訂重試時間,或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
源庫、目標庫出現其他問題後的重試時間
在遷移任務啟動後,若源庫或目標庫出現非串連性的其他問題(如DDL或DML執行異常),則DTS會報錯並會立即進行持續的重試操作,預設持續重試時間為10分鐘,您也可以在取值範圍(1~1440分鐘)內自訂重試時間,建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功,遷移任務將自動回復。否則,遷移任務將會失敗。
重要源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
是否限制全量遷移速率
在全量遷移階段,DTS將佔用源庫和目標庫一定的讀寫資源,可能會導致資料庫的負載上升。您可以根據實際情況,選擇是否對全量遷移任務進行限速設定(設定每秒查詢源庫的速率QPS、每秒全量遷移的行數RPS和每秒全量遷移的數據量(MB)BPS),以緩解目標庫的壓力。
說明僅當遷移類型選擇了全量遷移時才可以配置。
同一張表內主鍵_id的資料類型是否唯一
待遷移的資料中,同一個集合內主鍵
_id
的資料類型是否唯一。說明僅當遷移類型選擇了全量遷移時才可以配置。
是:唯一。在全量遷移階段,DTS將不會掃描源庫待遷移資料中主鍵的資料類型。
否:不唯一。在全量遷移階段,DTS將掃描源庫待遷移資料中主鍵的資料類型。
是否限制增量遷移速率
您也可以根據實際情況,選擇是否對增量遷移任務進行限速設定(設定每秒增量遷移的行數RPS和每秒增量遷移的數據量(MB)BPS),以緩解目標庫的壓力。
說明僅當遷移類型選擇了增量遷移時才可以配置。
環境標籤
您可以根據實際情況,選擇用於標識執行個體的環境標籤。本樣本無需選擇。
配置ETL功能
選擇是否配置ETL功能。關於ETL的更多資訊,請參見什麼是ETL。
是:配置ETL功能,並在文字框中填寫資料處理語句,詳情請參見在DTS遷移或同步任務中配置ETL。
否:不配置ETL功能。
說明若目標表是用HBase建立的,請注意如下事項:
ETL的文法包括需要配置的列和需要排除的列,在遷移過程中會將MongoDB已配置ETL的文檔(Document)所有頂層欄位,儲存在HBase表預設的列族f中。以下樣本表示:將除_id和name兩個頂層元素的其他元素作為動態列寫入目標表。更多資訊,請參見HBase表遷移樣本(ETL)。
script:e_expand_bson_value("*", "_id,name")
若您需要同時使用新增列和ETL功能,請確保Lindorm中的資料不會重複。
新增列和ETL功能均未配置的列不會遷移至目標庫。
監控警示
是否設定警示,當遷移失敗或延遲超過閾值後,將通知警示連絡人。
不設定:不設定警示。
設定:設定警示,您還需要設定警示閾值和警示通知。更多資訊,請參見在配置任務過程中配置監控警示。
儲存任務並進行預檢查。
若您需要查看調用API介面配置該執行個體時的參數資訊,請將滑鼠游標移動至下一步儲存任務並預檢查按鈕上,然後單擊氣泡中的預覽OpenAPI參數。
若您無需查看或已完成查看API參數,請單擊頁面下方的下一步儲存任務並預檢查。
說明在遷移任務正式啟動之前,會先進行預檢查。只有預檢查通過後,才能成功啟動遷移任務。
如果預檢查失敗,請單擊失敗檢查項後的查看詳情,並根據提示修複後重新進行預檢查。
如果預檢查產生警告:
對於不可以忽略的檢查項,請單擊失敗檢查項後的查看詳情,並根據提示修複後重新進行預檢查。
對於可以忽略無需修複的檢查項,您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查,跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項,可能會導致資料不一致等問題,給業務帶來風險。
購買執行個體。
預檢查通過率顯示為100%時,單擊下一步購買。
在購買頁面,選擇資料移轉執行個體的鏈路規格,詳細說明請參見下表。
類別
參數
說明
資訊配置
資源群組配置
選擇執行個體所屬的資源群組,預設為default resource group。更多資訊,請參見什麼是資源管理。
鏈路規格
DTS為您提供了不同效能的遷移規格,遷移鏈路規格的不同會影響遷移速率,您可以根據業務情境進行選擇。更多資訊,請參見資料移轉鏈路規格說明。
配置完成後,閱讀並選中《資料轉送(隨用隨付)服務條款》。
單擊購買並啟動,並在彈出的確認對話方塊,單擊確定。
您可在資料移轉介面查看具體進度。
HBase表添加列映射樣本
本樣本以在SQL Shell上操作為例介紹。
Lindorm須為2.4.0及以上版本。
為HBase建立的表添加列映射。
ALTER TABLE test MAP DYNAMIC COLUMN f:_mongo_id_ HSTRING/HINT/..., person:name HSTRING, person:age HINT;
為HBase建立的表添加二級索引。
CREATE INDEX idx ON test(f:_mongo_id_);
HBase表遷移樣本(ETL)
MongoDB文檔(Document)
{
"_id" : 0,
"person" : {
"name" : "cindy0",
"age" : 0,
"student" : true
}
}
ETL資料處理語句
script:e_expand_bson_value("*", "_id")
遷移結果
賦值配置樣本
源MongoDB資料結構
{
"_id":"62cd344c85c1ea6a2a9f****",
"person":{
"name":"neo",
"age":"26",
"sex":"male"
}
}
目標Lindorm表結構
列名稱 | 類型 |
id | STRING |
person_name | STRING |
person_age | INT |
新增列配置
請按照層級關係正確配置bson_value()
運算式,否則可能會導致資料丟失或任務失敗。例如,若您配置的運算式為bson_value("person")
,DTS將無法把源端person
的子欄位(name、age、sex)的增量變更資料寫入到目標端。
列名稱 | 類型 | 賦值 |
id | STRING | bson_value("_id") |
person_name | STRING | bson_value("person","name") |
person_age | BIGINT | bson_value("person","age") |