Data Lake Formation：中繼資料遷移

建立遷移任務

1. 開啟資料湖構建控制台。

2. 選擇左側菜單“中繼資料-中繼資料遷移”。

3. 單擊建立遷移任務，開始配置中繼資料遷移任務。

源庫配置

• 中繼資料庫類型：目前僅支援MySQL類型。

• MySQL類型：

  • Aliyun RDS：阿里雲官網提供的RDS，可參考雲資料庫RDS MySQL 版。

  • 其他MySQL：EMR內建MySQL、自建MySQL或其他MySQL資料庫。

• 如果選擇為Aliyun RDS，則需要填寫RDS執行個體相關資訊：

  • RDS執行個體。

  • 中繼資料庫名稱。

  • 使用者名稱。

  • 密碼。

  

• 如果選擇為其他MySQL，則需要填寫MySQL串連的相關資訊：

  • JDBC URL。

  • 使用者名稱。

  • 密碼。

• 網路連接配置

  • 當MySQL類型=Aliyun RDS時，此時網路連接方式僅可選擇“阿里雲VPC”。當您選擇VPC串連時，建議選擇與RDS或MySQL匹配的VPC，vSwitch與安全性群組，避免網路出現問題。

  

  • 當MySQL類型=其他MySQL時，此時網路連接方式可選擇“阿里雲VPC”,“公網串連”兩種方式。

  

遷移任務配置

• 任務名稱：輸入中繼資料遷移任務的名稱。

• 任務描述（可選）：輸入您的一些任務備忘資訊。

• 衝突解決方案策略：

  • 更新舊的中繼資料：舊資料不會被刪除，在原有基礎上更新中繼資料。

  • 重建中繼資料，即先刪除舊的中繼資料後再建立：舊資料將會被全部刪除，重新同步中繼資料並建立。

• 日誌存放路徑：所有任務日誌將會存放的OSS位置。

• 同步對象：包括Database、Function、Table、Partition 四種對象，一般為全選。

• Location替換：適用於遷移過程中需要對table/database的location進行替換修改的情況。比如從傳統HDFS架構，遷移到OSS存算分離架構，則需要將hdfs://路徑，替換為oss://路徑等情況。

儲存任務

確認任務配置資訊無誤，單擊確定按鈕，建立任務完成。