全部產品
Search
文件中心

DataWorks:一鍵MaxCompute表結構同步節點

更新時間:Nov 21, 2024

DataWorks支援一鍵匯入表結構功能,協助您使用DataStudio快速大量建立與目標MaxCompute表結構相同的Hologres外部表格,後續您可使用Hologres外部表格加速查詢MaxCompute表的資料。本文為您介紹如何建立並使用一鍵MaxCompute表結構同步節點。

背景資訊

Hologres是阿里巴巴自主研發的一站式即時數倉引擎,它與MaxCompute在底層無縫串連,支援使用建立外部表格的方式加速查詢MaxCompute資料。

DataWorks是基於IMPORT FOREIGN SCHEMA語句實現可視化方式的一鍵MaxCompute表結構同步Hologres。

使用限制

僅支援使用該功能加速查詢MaxCompute內部表的資料,不支援加速查詢MaxCompute外部表格的資料和視圖。

說明

本文以下樣本操作以華東2(上海)地區為例,其它地區請以介面為準。

進入一鍵MaxCompute表結構同步介面

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

  2. 建立商務程序

    如果您已有商務程序,則可以忽略該步驟。

    1. 滑鼠移至上方至建立表徵圖,選擇建立商務程序

    2. 建立商務程序對話方塊,輸入業務名稱

    3. 單擊建立

  3. 建立一鍵MaxCompute表結構同步節點。

    1. 滑鼠移至上方至建立表徵圖,選擇建立節點 > Hologres > 一鍵MaxCompute表結構同步

      您也可以找到相應的商務程序,按右鍵商務程序,選擇建立節點 > Hologres > 一鍵MaxCompute表結構同步

    2. 建立節點對話方塊中,輸入名稱,並選擇引擎執行個體節點類型路徑

    3. 單擊確認,進入節點編輯頁面。

配置一鍵MaxCompute表結構同步節點

  1. 配置節點資訊。

    在節點編輯頁面,配置建立Hologres外部表格所使用的Hologres串連資訊、MaxCompute表的來源資訊及建表時的衝突策略。配置節點資訊

    1. 配置目標資訊。

      用於配置建立的Hologres外部表格要放於哪個Hologres執行個體下。

      參數

      描述

      目標串連

      Hologres的執行個體名稱。

      目標庫

      Hologres執行個體下的資料庫名稱。

      模式

      Hologres資料庫下的Schema名稱。預設為public

    2. 配置來源資訊。

      用於配置建立的Hologres外部表格的表結構來源於哪個表。DataWorks基於該資訊在Hologres中建立與源表的表結構相同的外部表格,方便您通過Hologres外部表格快速查詢源表資料。

      參數

      描述

      類型

      當前僅支援基於MaxCompute類型的源表建立Hologres外部表格。

      伺服器列表

      源表所在的伺服器。

      您可以直接調用Hologres底層已建立的odps_server外部表格伺服器。詳細原理請參見postgres_fdw

      來源專案

      源表所在的專案名稱。

      選擇要直接加速的表

      用於選擇需要基於哪些源表建立外部表格。

      • 整庫加速:建立所選資料庫中的所有表。

      • 部分加速:僅建立所選資料庫中的部分表。可通過表名搜尋需要建立的表。

        說明

        搜尋支援模糊比對,即輸入關鍵詞即可查詢到所有名稱包含關鍵詞的表。

    3. 配置衝突策略。

      用於配置建立外部表格時,對於衝突情況所採取的處理策略。

      參數

      描述

      表名衝突

      Hologres中存在與建立的外部表格名稱相同的表時,處理策略如下:

      • 忽略,繼續建立其他表

      • 更新,修改同名表

      • 報錯,不再重複建立

      資料類型不支援

      建立外部表格時,對Hologres不支援的資料類型處理策略如下:

      • 報錯,匯入失敗:該方式會導致所選表建立失敗。

      • 忽略,跳過不支援欄位:該方式僅會忽略不支援的欄位,但不影響表的建立。

  2. 儲存並運行節點。

    1. 在節點編輯頁面的頂部功能表列,單擊儲存表徵圖,儲存節點配置。

    2. 在節點編輯頁面的頂部功能表列,單擊運行表徵圖,大量建立外部表格。

說明

運行時您需要選擇Hologres執行個體與DataWorks網路環境處於連通狀態的Serverless資源群組。詳情請參見網路連通方案

後續步驟

外部表格建立完成後,您可進入DataWorks的表管理頁面查看大量建立的外部表格,詳情請參見表管理;或使用Hologres的命令加速查詢MaxCompute資料,詳情請參見基於Foreign Table加速查詢MaxCompute資料

說明

僅支援加速查詢MaxCompute內部表的資料,不支援加速查詢MaxCompute外部表格的資料和視圖。