中繼資料遷移提供可視化的中繼資料遷移能力,可以幫您快速地將Hive Metastore的中繼資料遷移到資料湖構建(DLF)中。
使用限制
支援的Hive版本:2.3.x ,3.1.x 版本。
支援的資料庫類型:MySQL。
建立中繼資料遷移任務
登入資料湖構建控制台。
在左側功能表列,單擊
。在遷移任務頁簽,單擊建立遷移任務。
進行源庫配置:
資料庫類型:目前僅支援MySQL類型。
MySQL類型:
Aliyun RDS:阿里雲官網提供的RDS,可參考雲資料庫RDS MySQL版。
其他MySQL:EMR內建MySQL、自建MySQL或其他MySQL資料庫。
如果選擇為Aliyun RDS,則需要填寫以下RDS執行個體相關資訊:
RDS執行個體:選擇RDS執行個體。
資料庫名稱:輸入資料庫名稱。
使用者名稱:輸入使用者名稱。
密碼:輸入密碼。
如果選擇為其他MySQL,則需要填寫以下MySQL串連的相關資訊:
JDBC URL:輸入JDBC URL。
使用者名稱:輸入使用者名稱。
密碼:輸入密碼。
網路連接方式:
當MySQL類型選擇Aliyun RDS時,僅可選擇阿里雲VPC。
當MySQL類型選擇其他MySQL時,可選擇阿里雲VPC和公網串連兩種方式。
說明當您選擇阿里雲VPC串連時,建議選擇與RDS或MySQL匹配的Virtual Private Cloud、交換器vSwitch和安全性群組,避免網路出現問題。
當您選擇公網串連時,請確保MySQL允許公網訪問,並且連接埠對Elastic IP Address 121.41.166.235 放開(DLF中繼資料遷移會使用該IP訪問您的MySQL)。
進行遷移任務配置:
任務名稱:輸入中繼資料遷移任務的名稱。
任務描述(可選):輸入您的一些任務備忘資訊。
資料目錄:選擇目標資料目錄。
衝突解決方案策略:
更新舊的中繼資料:舊資料不會被刪除,在原有基礎上更新中繼資料。
重建中繼資料,即先刪除舊的中繼資料後再建立:舊資料將會被全部刪除,重新同步中繼資料並建立。
日誌存放路徑:所有任務日誌將被儲存在指定的OSS位置。
同步對象:包括Database、Function、Table、Partition四種對象,一般為全選。
Location替換(可選):適用於遷移過程中需要對table、database的Location進行替換修改的情況。比如從傳統HDFS架構遷移到OSS存算分離架構,則需要將
hdfs://
路徑,替換為oss://
路徑等情況。
確認任務配置資訊無誤,單擊確定,建立任務完成。
管理中繼資料遷移任務
單擊遷移任務頁簽,在目標遷移任務操作列:
單擊運行:運行當前中繼資料遷移任務。
單擊運行記錄:可查看任務啟動並執行詳情資訊。
單擊編輯:可修改任務的源庫配置和遷移任務配置。
單擊刪除:可刪除遷移任務。
單擊停止:可停止當前運行中的任務。
單擊執行歷史頁簽,單擊目標任務操作列的查看日誌,可查看運行中的日誌資訊。
中繼資料遷移完成後,可以從日誌中看到成功或失敗的結果資訊。
驗證中繼資料同步結果
在左側功能表列,單擊
。單擊資料庫頁簽,選擇資料目錄,輸入同步的資料庫名稱,可以查詢到相應的資料庫資訊。
單擊資料表頁簽,選擇資料目錄和庫名,輸入同步的表名,可以查詢到相應的資料表資訊。