全部產品
Search
文件中心

AnalyticDB:通過Kettle匯入至數倉版

更新時間:Jul 06, 2024

本文以Excel為例,介紹如何通過Kettle將本地Excel資料匯入至AnalyticDB MySQL版數倉版

背景資訊

Kettle是一款非常受歡迎的開源ETL工具軟體,主要用於資料整合、轉換和遷移。Kettle不僅支援各類別關係型資料庫和NoSQL資料來源(HBase、MongoDB),也支援Excel、Access類型的小型資料來源。通過擴充外掛程式,Kettle可以支援更多資料來源。

更多Kettle資訊,請參見Kettle

準備工作

  • 安裝Kettle。
  • AnalyticDB MySQL版中建立目標資料庫
  • 將安裝了Kettle軟體的裝置IP添加到AnalyticDB MySQL版叢集白名單中。
  • 如果您需要通過外網串連AnalyticDB MySQL版叢集,請申請和釋放公網地址

操作步驟

  1. 開啟Kettle,在功能表列單擊檔案 > 建立 > 轉換,建立一個轉換。
  2. 在功能表列單擊檔案 > 建立 > 資料庫連接 在轉換中建立一個資料庫連接。
    參數說明
    串連名稱為串連設定一個名字,便於後續管理。
    連線類型選擇MySQL
    串連方式選擇Native(JDBC)
    主機名稱AnalyticDB MySQL版叢集的串連叢集,通過控制台叢集資訊頁面,查看串連資訊。
    資料庫名稱AnalyticDB MySQL版中的資料庫名稱。
    連接埠號碼3306。
    使用者名稱AnalyticDB MySQL版叢集中建立的帳號:
    • 高許可權帳號。
    • 普通帳號。
    密碼帳號對應的密碼。
    說明 配置參數時,不要勾選Use Result Streaming Cursor
  3. 完成上述參數配置後,單擊測試彈出資料庫連接測試提示框,根據提示判斷是否串連至AnalyticDB MySQL版資料庫,測試通過後單擊確認
  4. 在Kettle左側核心對象輸入中,找到Excel輸入,將其拖動入到工作區。
  5. 雙擊工作區的Excel輸入,在Excel輸入對話方塊中,單擊瀏覽上傳需要匯入的Excel表格,然後單擊增加將其添加到選中的檔案中。

    根據實際業務需要設定工作表內容欄位等選項卡,單擊預覽記錄查看輸入的資料是否符合要求。

  6. 在Kettle左側核心對象輸出中,找到表輸出,將其拖動入到工作區。
  7. 建立一條Excel輸入表輸出的連接線。
  8. 雙擊表輸出,在表輸出對話方塊中進行參數配置。
    • 目標模式:您需要手動輸入AnalyticDB MySQL版資料庫的名字。
    • 目標表:您需要手動輸入AnalyticDB MySQL版資料庫中的表名。
    • 勾選指定資料庫欄位
    • 勾選使用批量插入

    表輸出資料庫欄位選項卡中,單擊擷取欄位輸入欄位對應,可以設定Excel中的列與AnalyticDB MySQL版表中列名間的映射關係。

  9. 單擊白色三角箭頭運行轉換,觀察作業記錄和運行狀態。

    本地Excel資料成功同步至AnalyticDB MySQL版後,您就可以使用AnalyticDB MySQL版對行Excel資料進分析。