DataWorks支援一鍵匯入表結構功能,協助您使用DataStudio快速大量建立與目標MaxCompute表結構相同的Hologres外部表格,後續您可使用Hologres外部表格加速查詢MaxCompute表的資料。本文為您介紹如何建立並使用一鍵MaxCompute表結構同步節點。
背景資訊
Hologres是阿里巴巴自主研發的一站式即時數倉引擎,它與MaxCompute在底層無縫串連,支援使用建立外部表格的方式加速查詢MaxCompute資料。
DataWorks是基於IMPORT FOREIGN SCHEMA語句實現可視化方式的一鍵MaxCompute表結構同步Hologres。
使用限制
僅支援使用該功能加速查詢MaxCompute內部表的資料,不支援加速查詢MaxCompute外部表格的資料和視圖。
本文以下樣本操作以華東2(上海)地區為例,其它地區請以介面為準。
進入一鍵MaxCompute表結構同步介面
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入Data Integration。
建立商務程序。
如果您已有商務程序,則可以忽略該步驟。
滑鼠移至上方至表徵圖,選擇建立商務程序。
在建立商務程序對話方塊,輸入業務名稱。
單擊建立。
建立一鍵MaxCompute表結構同步節點。
滑鼠移至上方至表徵圖,選擇 。
您也可以找到相應的商務程序,按右鍵商務程序,選擇
。在建立節點對話方塊中,輸入名稱,並選擇引擎執行個體、節點類型及路徑。
單擊確認,進入節點編輯頁面。
配置一鍵MaxCompute表結構同步節點
配置節點資訊。
在節點編輯頁面,配置建立Hologres外部表格所使用的Hologres串連資訊、MaxCompute表的來源資訊及建表時的衝突策略。
配置目標資訊。
用於配置建立的Hologres外部表格要放於哪個Hologres執行個體下。
參數
描述
目標串連
Hologres的執行個體名稱。
目標庫
Hologres執行個體下的資料庫名稱。
模式
Hologres資料庫下的Schema名稱。預設為public。
配置來源資訊。
用於配置建立的Hologres外部表格的表結構來源於哪個表。DataWorks基於該資訊在Hologres中建立與源表的表結構相同的外部表格,方便您通過Hologres外部表格快速查詢源表資料。
參數
描述
類型
當前僅支援基於MaxCompute類型的源表建立Hologres外部表格。
伺服器列表
源表所在的伺服器。
您可以直接調用Hologres底層已建立的odps_server外部表格伺服器。詳細原理請參見postgres_fdw。
來源專案
源表所在的專案名稱。
選擇要直接加速的表
用於選擇需要基於哪些源表建立外部表格。
整庫加速:建立所選資料庫中的所有表。
部分加速:僅建立所選資料庫中的部分表。可通過表名搜尋需要建立的表。
說明搜尋支援模糊比對,即輸入關鍵詞即可查詢到所有名稱包含關鍵詞的表。
配置衝突策略。
用於配置建立外部表格時,對於衝突情況所採取的處理策略。
參數
描述
表名衝突
Hologres中存在與建立的外部表格名稱相同的表時,處理策略如下:
忽略,繼續建立其他表。
更新,修改同名表。
報錯,不再重複建立。
資料類型不支援
建立外部表格時,對Hologres不支援的資料類型處理策略如下:
報錯,匯入失敗:該方式會導致所選表建立失敗。
忽略,跳過不支援欄位:該方式僅會忽略不支援的欄位,但不影響表的建立。
儲存並運行節點。
在節點編輯頁面的頂部功能表列,單擊表徵圖,儲存節點配置。
在節點編輯頁面的頂部功能表列,單擊表徵圖,大量建立外部表格。
運行時您需要選擇Hologres執行個體與DataWorks網路環境處於連通狀態的Serverless資源群組。詳情請參見網路連通方案。
後續步驟
外部表格建立完成後,您可進入DataWorks的表管理頁面查看大量建立的外部表格,詳情請參見表管理;或使用Hologres的命令加速查詢MaxCompute資料,詳情請參見基於Foreign Table加速查詢MaxCompute資料。
僅支援加速查詢MaxCompute內部表的資料,不支援加速查詢MaxCompute外部表格的資料和視圖。