全部產品
Search
文件中心

DataWorks:建立Hologres外部表格

更新時間:Jun 19, 2024

Hologres可通過DDL方式建立Hologres外部表格,也可使用DataWorks提供的可視化方式建立。本文為您介紹如何使用DataWorks可視化方式建立Hologres外部表格。

前提條件

背景資訊

Hologres的表類型分為內部表和外部表格,其區別如下:
  • 內部表:可直接儲存MaxCompute來源資料。您可將MaxCompute源表資料同步至Hologres內部表中快速查詢分析。該方式比建立外部表格方式查詢效能更好。
  • 外部表格:不能直接儲存MaxCompute來源資料,但可將MaxCompute源表資料對應至Hologres外部表格中,加速查詢分析資料。該方式無冗餘儲存,無需匯入匯出資料,即可快速擷取查詢結果。
DataWorks作為資料加工的開發平台,提供了便捷的可視化建表方式,當需要建立多個Hologres外部表格時,可參考一鍵MaxCompute表結構同步節點。同時,也可直接使用Hologres通過DDL語句建表,詳情請參見CREATE FOREIGN TABLE

使用限制

  • 目前僅支援建立MaxCompute類型的Hologres外部表格。

  • 當前僅華東2(上海)、華北2(北京)地區支援使用該功能。

操作步驟

  1. 進入資料開發頁面。

    登入DataWorks控制台,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 建立商務程序

    如果您已有商務程序,則可以忽略該步驟。

    1. 滑鼠移至上方至建立表徵圖,選擇建立商務程序

    2. 建立商務程序對話方塊,輸入業務名稱

    3. 單擊建立

  3. 建立Hologres外部表格。
    1. 滑鼠移至上方至建立表徵圖,選擇建立表 > Hologres >
    2. 建立表對話方塊,選擇表類型外部表格,並配置表所在的引擎、路徑及名稱等資訊。
      輸入表資訊
  4. 配置Hologres外部表格。
    在Hologres外部表格的編輯頁面,您可配置表的相關資訊。
    1. 配置基礎屬性。
      基礎屬性表的主要基礎屬性如下。
      參數描述
      類型選擇需要建立哪種類型的Hologres外部表格。
      說明

      目前僅支援建立MaxCompute類型的Hologres外部表格。

      伺服器列表選擇外部表格串連MaxCompute資料來源的伺服器。
      說明 建立MaxCompute類型的外部表格需調用Hologres底層已建立的odps_server外部表格伺服器。詳細原理請參見postgres_fdw
      選擇需要基於哪個MaxCompute源表建立Hologres外部表格,後續使用該外部表格查詢MaxCompute源表資料。
      您需根據MaxCompute的專案模型類型配置相關參數:
      • 兩層模型
        • project_name:MaxCompute的專案名稱。
        • table_name:所查詢的MaxCompute源表名稱。
      • 三層模型
        • project_name:MaxCompute的專案名稱及Schema名稱,格式為odps_project_name#odps_schema_name
        • table_name:所查詢的MaxCompute源表名稱。
      說明 如果相關參數的配置與模型類型要求不符,則會產生報錯。報錯樣本failed to import foreign schema:Table not found - table_xxx
    2. 配置商務資訊。
      說明 表的商務資訊,僅是基於業務需求方便管理表使用,不涉及底層邏輯的實現。
      業務描述
      參數描述
      主題表所屬的一級檔案夾與二級檔案夾。您可基於業務用途對錶進行歸類,將同類表掛載至相同檔案夾中。
      說明 一級主題、二級主題僅為DataWorks上檔案夾的呈現形式,旨在方便您更好地管理表。
      層級表所屬的物理數倉分層。層級是用來定義和管理資料倉儲分層,通常分為貼源層、共用層和分析層。您可根據表的業務用途,將其掛載至合適的層級。
      說明 單擊建立表徵圖可自訂層級。詳細操作請參見表管理
      物理分類表的物理分類,即基於業務使用視角對錶進行更詳細的分類。通常包括基礎業務層、進階業務層和其它。
      說明 單擊建立表徵圖可自訂物理分類。詳細操作請參見分類管理
    3. 配置表結構。
      表結構設計當步驟4中《配置基礎屬性》參數配置後,將在此介面展示該表的表結構。該結構將用於建立最終的Hologres外部表格,會自動讀取MaxCompute源表資料,不可編輯。
      說明 基於MaxCompute建立Hologres外部表格時存在欄位類型映射,外部表格欄位類型必須與MaxCompute源表欄位類型一一對應。MaxCompute與Hologres的資料類型映射,請參見MaxCompute與Hologres的資料類型映射
  5. 提交並發布Hologres外部表格。
    表結構定義完成後,您需將其提交至開發環境與生產環境,提交成功後才可在環境對應的引擎專案查看該表。
    說明 如果您使用的是簡單模式的工作空間,僅需將表提交至生產環境。簡單模式與標準模式工作空間介紹,詳情請參見必讀:簡單模式和標準模式的區別
    操作描述
    從開發環境載入用於從開發環境載入開發表的相關資訊,並顯示至當前頁面。
    說明 僅當表已被提交至開發環境後,才可執行該操作。執行該操作後,開發環境已建立的表資訊會覆蓋當前頁面的表資訊。
    提交到開發環境提交表至DataWorks的開發環境,即在開發環境所綁定的Hologres資料庫建立當前表。

    提交後您可在DataWorks資料開發相應商務程序(即建立表時所選的路徑)的Hologres目錄,查看該表結構。

    從生產環境載入用於從生產環境載入生產表的相關資訊,並顯示至當前頁面。
    說明 僅當表已被提交至生產環境後,才可執行該操作。執行該操作後,生產環境已建立的表資訊會覆蓋當前頁面的表資訊。
    提交到生產環境提交表至DataWorks的生產環境,即在生產環境所綁定的Hologres資料庫建立當前表。

後續步驟

Hologres外部表格建立完成後,您可通過Hologre外部表格周期性匯入MaxCompute資料至Hologres內部表: