全部產品
Search
文件中心

MaxCompute:通過DataWorks實現MaxCompute跨專案遷移

更新時間:Jun 19, 2024

本文為您介紹如何配置相同地區下不同的MaxCompute專案,以及如何?資料移轉。

前提條件

請您首先完成教程《簡單使用者Portrait analysis(MaxCompute版)》的全部步驟,詳情請參見簡單使用者Portrait analysis(MaxCompute版)

背景資訊

本文使用的被遷移的原始專案為教程《簡單使用者Portrait analysis(MaxCompute版)》中的WorkShop2023專案,您需要再建立一個遷移目標專案,用於存放原始專案的表、資源、配置和資料。

操作步驟

  1. 建立遷移目標專案

    登入DataWorks控制台,建立工作空間並綁定MaxCompute引擎。具體操作請參見建立工作空間綁定MaxCompute引擎

    說明

    由於原始專案WorkShop2023標準模式,因此本文中DataWorks工作空間模式也選擇標準模式,本文中目標專案名稱以clone_test_doc為例。

  2. 跨專案複製

    您可以通過跨專案複製功能將原始專案WorkShop2023的節點配置和資源複製到當前專案,詳情請參見跨專案複製實踐

    說明
    • 跨專案複製無法複製表結構與資料。

    • 跨專案複製無法複製組合節點,需要您手動建立。

    1. 單擊原始專案WorkShop2023右上方的跨專案複製,跳轉至相應的複製頁面。

      跨專案複製

    2. 選擇複製目標工作空間clone_test_doc商務程序為您需要複製的商務程序Workshop,勾選所有節點,單擊添加到待複製後單擊右側的待複製列表

      待複製

    3. 單擊全部複製,將選中的節點複製至工作空間clone_test_doc

      複製

    4. 切換至您建立的專案,檢查節點是否已完成複製。

  3. 建立資料表

    跨專案複製功能無法複製您的表結構,因此您需要手動建立表。

    • 對於非分區表,建議使用如下語句遷移表結構。

      create table table_name as select * from 源庫MaxCompute專案.表名 ; 
    • 對於分區表,建議使用如下語句遷移表結構。

      create table table_name partitioned by (分區列 string);

    建立表後請將表提交到生產環境。更多建表資訊,請參見建立並使用MaxCompute表

  4. 資料同步

    跨專案複製功能無法複製原始專案的資料到新專案,因此您需要手動同步資料,本文中僅同步表ods_user_info_d的資料。

    1. 建立資料來源。

      1. Data Integration頁面,單擊左側導覽列上的資料來源

      2. 資料來源管理頁面,單擊右上方新增資料來源,並選擇MaxCompute(ODPS)

      3. 填寫您的資料來源名稱ODPS專案名稱AccessKey IDAccessKey Secret等資訊,單擊完成,詳情請參見配置MaxCompute資料來源

    2. 建立資料同步任務。

      建立資料同步任務操作詳情,請參見通過嚮導模式配置離線同步任務

      1. 資料開發頁面按右鍵您複製的商務程序Workshop下的Data Integration,選擇建立 > 離線同步

      2. 編輯您建立的資料同步任務節點,其中資料來源WorkShop2023是您的原始專案,資料來源odps_first代表您當前的建立專案,表名是您需要同步資料的表ods_user_info_d。完成後單擊調度配置

      3. 單擊使用工作空間根節點後,提交資料同步任務。工作空間根節點

    3. 補資料

      1. 單擊左上方的表徵圖,選擇全部產品 > 營運中心

      2. 單擊左側導覽列中的周期任務營運 > 周期任務

      3. 按右鍵您的資料同步任務,選擇補資料 > 當前節點

      4. 本例中,需要補資料的日期分區為2019年6月11日到17日,您可以直接選擇業務日期,進行多個分區的資料同步。完成設定後,單擊確定

        確定

        說明

        您可以根據自己的業務需求,設定業務日期。

      5. 周期任務營運 > 補資料執行個體頁面,您可以查看補資料執行個體任務運行狀態,顯示運行成功則說明完成資料同步。

    4. 驗證結果

      您可以在商務程序 > 資料開發中建立ODPS SQL類型節點,執行如下語句查看資料是否完成同步。

      select * from ods_user_info_d where dt BETWEEN '20190611' and '20190617';