全部產品
Search
文件中心

MaxCompute:遷移Oracle資料至MaxCompute最佳實務

更新時間:Jun 19, 2024

本文為您介紹如何通過DataWorks的Data Integration功能,遷移Oracle資料至MaxCompute。

前提條件

  • 準備DataWorks環境

    1. 開通MaxCompute和DataWorks

    2. 建立工作空間(本文以簡單模式的工作空間為例)。

    3. 在DataWorks上建立商務程序。詳情請參見建立商務程序

  • 準備Oracle環境

    本文中的Oracle安裝在Elastic Compute Service上,ECS具體配置如下。為了讓網路互連,您需要給ECS配置公網IP,並且配置ECS的安全性群組規則放通Oracle資料庫的常用連接埠1521。關於ECS安全性群組配置詳情請參見修改安全性群組規則

    如上圖所示,本文中的ECS規格為ecs.c5.xlarge,使用專用網路,地區為華東1(杭州)。

背景資訊

本文需要使用DataWorks Oracle Reader讀取Oracle中的測試資料,詳情請參見Oracle Reader

準備Oracle測試資料

  1. 進入Oracle圖形化操作介面,建立表DTSTEST.GOOD_SALE,主要包括create_time、category、brand、buyer_id、trans_num、trans_amount、click_cnt這7列。

  2. 插入測試資料,本文中手動插入資料如下。

    insert into good_sale values('28-12月-19','廚具','品牌A','hanmeimei','6','80.6','4');
    insert into good_sale values('21-12月-19','生鮮','品牌B','lilei','7','440.6','5');
    insert into good_sale values('29-12月-19','衣服','品牌C','lily','12','351.9','9');
    commit;
  3. 插入資料後,執行如下語句查看錶資料。

    select * from good_sale;

通過DataWorks將資料從Oracle遷移至MaxCompute

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 資料開發頁面建立目標表,用於接收從Oracle遷移的資料。

    1. 按右鍵已建立的商務程序,選擇建立表 > MaxCompute >

    2. 建立表頁面,配置表的基本資料。

    3. 在表的編輯頁面,單擊DDL

    4. DDL對話方塊,輸入建表語句,單擊產生表結構

      CREATE TABLE good_sale 
      (
          create_time     string,
          category        string,
          brand           string,
          buyer_id        string,
          trans_num       bigint,
          trans_amount    double,
          click_cnt       bigint
      ) ;

      在建表過程中,需要考慮Oracle資料類型與MaxCompute資料類型的映射,Oracle Reader支援的資料類型請參見類型轉換列表

    5. 單擊提交到生產環境

  3. 建立Oracle資料來源,詳情請參見配置Oracle資料來源

  4. 建立離線同步節點。

    1. 進入資料開發頁面,按右鍵指定商務程序,選擇建立節點 > Data Integration > 離線同步

    2. 建立節點對話方塊中,配置節點基本資料,並單擊確認

    3. 成功建立資料同步節點後,選擇資料來源為您剛剛添加的Oracle資料來源,為您剛剛建立的測試表格,選擇同名映射。其它參數保持預設配置。

    4. 單擊**表徵圖運行代碼。

    5. 您可以在作業記錄查看運行結果。

驗證結果

  1. 按右鍵商務程序,選擇建立節點 > MaxCompute > ODPS SQL

  2. 建立節點對話方塊中配置節點基本資料,並單擊確認

  3. 在ODPS SQL節點編輯頁面輸入如下語句。

    --查看是否成功寫入MaxCompute。
    select * from good_sale;
  4. 單擊**表徵圖運行代碼。

  5. 您可以在作業記錄查看運行結果。