Hologres可通過DDL方式建立Hologres外部表格,也可使用DataWorks提供的可視化方式建立。本文為您介紹如何使用DataWorks可視化方式建立Hologres外部表格。
前提條件
- 工作空間已綁定Hologres引擎。詳情請參見綁定Hologres計算引擎。
- 建立表的使用者具備開發許可權角色,空間管理員或開發。授權詳情請參見空間級模組許可權管控。
背景資訊
Hologres的表類型分為內部表和外部表格,其區別如下:- 內部表:可直接儲存MaxCompute來源資料。您可將MaxCompute源表資料同步至Hologres內部表中快速查詢分析。該方式比建立外部表格方式查詢效能更好。
- 外部表格:不能直接儲存MaxCompute來源資料,但可將MaxCompute源表資料對應至Hologres外部表格中,加速查詢分析資料。該方式無冗餘儲存,無需匯入匯出資料,即可快速擷取查詢結果。
使用限制
目前僅支援建立MaxCompute類型的Hologres外部表格。
- 當前僅華東2(上海)、華北2(北京)地區支援使用該功能。
操作步驟
進入資料開發頁面。
登入DataWorks控制台,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發。
建立商務程序。
如果您已有商務程序,則可以忽略該步驟。
滑鼠移至上方至表徵圖,選擇建立商務程序。
在建立商務程序對話方塊,輸入業務名稱。
單擊建立。
- 建立Hologres外部表格。
- 滑鼠移至上方至表徵圖,選擇 。
- 在建立表對話方塊,選擇表類型為外部表格,並配置表所在的引擎、路徑及名稱等資訊。
- 配置Hologres外部表格。在Hologres外部表格的編輯頁面,您可配置表的相關資訊。
- 配置基礎屬性。表的主要基礎屬性如下。
參數 描述 類型 選擇需要建立哪種類型的Hologres外部表格。 說明目前僅支援建立MaxCompute類型的Hologres外部表格。
伺服器列表 選擇外部表格串連MaxCompute資料來源的伺服器。 說明 建立MaxCompute類型的外部表格需調用Hologres底層已建立的odps_server
外部表格伺服器。詳細原理請參見postgres_fdw。表 選擇需要基於哪個MaxCompute源表建立Hologres外部表格,後續使用該外部表格查詢MaxCompute源表資料。 您需根據MaxCompute的專案模型類型配置相關參數:- 兩層模型:
- project_name:MaxCompute的專案名稱。
- table_name:所查詢的MaxCompute源表名稱。
- 三層模型:
- project_name:MaxCompute的專案名稱及Schema名稱,格式為
odps_project_name#odps_schema_name
。 - table_name:所查詢的MaxCompute源表名稱。
- project_name:MaxCompute的專案名稱及Schema名稱,格式為
說明 如果相關參數的配置與模型類型要求不符,則會產生報錯。報錯樣本failed to import foreign schema:Table not found - table_xxx
。 - 兩層模型:
- 配置商務資訊。說明 表的商務資訊,僅是基於業務需求方便管理表使用,不涉及底層邏輯的實現。
參數 描述 主題 表所屬的一級檔案夾與二級檔案夾。您可基於業務用途對錶進行歸類,將同類表掛載至相同檔案夾中。 說明 一級主題、二級主題僅為DataWorks上檔案夾的呈現形式,旨在方便您更好地管理表。層級 表所屬的物理數倉分層。層級是用來定義和管理資料倉儲分層,通常分為貼源層、共用層和分析層。您可根據表的業務用途,將其掛載至合適的層級。 說明 單擊表徵圖可自訂層級。詳細操作請參見表管理。物理分類 表的物理分類,即基於業務使用視角對錶進行更詳細的分類。通常包括基礎業務層、進階業務層和其它。 說明 單擊表徵圖可自訂物理分類。詳細操作請參見分類管理。 - 配置表結構。當步驟4中《配置基礎屬性》的表參數配置後,將在此介面展示該表的表結構。該結構將用於建立最終的Hologres外部表格,會自動讀取MaxCompute源表資料,不可編輯。說明 基於MaxCompute建立Hologres外部表格時存在欄位類型映射,外部表格欄位類型必須與MaxCompute源表欄位類型一一對應。MaxCompute與Hologres的資料類型映射,請參見MaxCompute與Hologres的資料類型映射。
- 配置基礎屬性。
- 提交並發布Hologres外部表格。表結構定義完成後,您需將其提交至開發環境與生產環境,提交成功後才可在環境對應的引擎專案查看該表。說明 如果您使用的是簡單模式的工作空間,僅需將表提交至生產環境。簡單模式與標準模式工作空間介紹,詳情請參見必讀:簡單模式和標準模式的區別。
操作 描述 從開發環境載入 用於從開發環境載入開發表的相關資訊,並顯示至當前頁面。 說明 僅當表已被提交至開發環境後,才可執行該操作。執行該操作後,開發環境已建立的表資訊會覆蓋當前頁面的表資訊。提交到開發環境 提交表至DataWorks的開發環境,即在開發環境所綁定的Hologres資料庫建立當前表。 提交後您可在DataWorks資料開發相應商務程序(即建立表時所選的路徑)的Hologres目錄,查看該表結構。
從生產環境載入 用於從生產環境載入生產表的相關資訊,並顯示至當前頁面。 說明 僅當表已被提交至生產環境後,才可執行該操作。執行該操作後,生產環境已建立的表資訊會覆蓋當前頁面的表資訊。提交到生產環境 提交表至DataWorks的生產環境,即在生產環境所綁定的Hologres資料庫建立當前表。
後續步驟
Hologres外部表格建立完成後,您可通過Hologre外部表格周期性匯入MaxCompute資料至Hologres內部表:- 使用命令方式匯入,詳情請參見使用SQL匯入MaxCompute的資料至Hologres。
- 使用DataWorks可視化方式匯入,詳情請參見一鍵MaxCompute資料同步節點。