全部產品
Search
文件中心

Hologres:MaxCompute加速

更新時間:Dec 18, 2024

Hologres與MaxCompute資料來源底層無縫打通,深度融合,可雙向直讀對方儲存,大大提升資料訪問效率。本文為您介紹使用Hologres加速讀寫MaxCompute資料的相關能力及使用限制。

背景資訊

MaxCompute(MaxCompute)是一種快速、完全託管的EB級資料倉儲,致力於批量結構化資料的儲存和計算,提供海量資料倉儲的解決方案及分析建模服務。詳情請參見什麼是MaxCompute

Hologres是相容PostgreSQL協議的即時互動式分析引擎,與MaxCompute儲存原生對接,支援使用建立外部資料庫、外部表格的方式實現MaxCompute加速查詢,無冗餘儲存,無需匯入匯出資料,即可快速擷取查詢結果,對外提供服務,採用標準PostgreSQL協議,無縫對接幾乎所有主流BI工具。

相比其他非阿里雲巨量資料生態產品,Hologres在加速MaxCompute資料、匯入MaxCompute資料以及資料回寫MaxCompute的速度效能方面表現更佳。

情境介紹

遠程加速MaxCompute資料

Hologres在讀取MaxCompute資料時採用直讀Apsara Distributed File System儲存的方式,效能更優,使用上也更簡單。您可通過CREATE EXTERNAL DATABASE的方式整庫映射MaxCompute內部Project下的Schema和表,或者通過IMPORT FOREIGN SCHEMA方式大量建立外部表格,同時對於僅需要加速查詢少量MaxCompute表或者某張表中部分欄位的情境,我們也提供了CREATE FOREIGN TABLE的方式,您可以根據業務特性和情境,選擇合適的加速方式。

說明

從Hologres V3.0 版本開始,遠程查詢MaxCompute資料取消了一次查詢掃描資料量不超過200GB、分區數不超過512個的限制,方便您更好地使用該服務。同時,放寬限制的大查詢會消耗更多的Hologres執行個體資源,請您做好資源隔離,詳情請參見計算群組執行個體快速入門,或者對於偶發的大查詢可以使用Serverless模式,詳情請參見Serverless Computing

MaxCompute的資料匯入Hologres後再進行查詢

為了擷取更好的查詢效能,您也可以將資料匯入Hologres,再進行查詢。該方式可充分利用Hologres的索引能力進一步加速查詢,同時支援的能力上也更加豐富,如支援複雜查詢,支援UPDATE、INSERT、DELETE等操作。詳情請參見MaxCompute資料匯入Hologres

Hologres資料匯出至MaxCompute

對於即時寫入Hologres的資料或者在Hologres中進行彙總分析後想寫回MaxCompute的情境,詳情請參見匯出至MaxCompute

功能詳情

Hologres加速MaxCompute外部表格支援的具體能力如下:

Hologres版本號碼

支援的能力

描述

V3.0.7

支援通過CREATE EXTERNAL DATABASE的方式完整映射MaxCompute Project下的Schema和表。

CREATE EXTERNAL DATABASE 用於在Hologres執行個體中建立一個外部資料庫,來載入外部資料源的中繼資料到Hologres,方便在一個系統中同時管理內、外部資料,實現湖倉一體架構下統一的中繼資料管理。詳情請參見CREATE EXTERNAL DATABASE

取消外部表格查詢一次查詢掃描資料量不超過200GB、分區數不超過512個的限制。

V2.2.1

外部表格自動載入支援MaxCompute Schema(三層模型)。

Schema是MaxCompute介於專案和表、資源、函數之間的概念,對錶、資源及函數進行進一步歸類。外部表格自動載入詳情請參見外部表格自動載入(Auto Load)

外部表格自動載入支援中繼資料自動重新整理。

外部表格自動載入支援MaxCompute外部表格Schema Evolution。

在MaxCompute側執行過刪除列、修改列順序、修改列類型等操作的表。詳情請參見外部表格自動載入(Auto Load)

支援通過SLR訪問MaxCompute資料。

服務關聯角色(ServiceLinkedRole,簡稱SLR)是一種可信實體為阿里雲服務的RAM角色,旨在解決跨雲端服務的授權訪問問題,詳情請參見Hologres服務關聯角色

V2.1

支援對MaxCompute三層模型指定Schema下的表進行資料寫入。

Schema是MaxCompute介於專案和表、資源、函數之間的概念,對錶、資源及函數進行進一步歸類。詳情請參見Schema

支援通過HoloWeb可視化訪問MaxCompute三層模型指定Schema下的表。

詳情請參見基於HoloWeb建立MaxCompute外部表格

V2.0

升級MaxCompute加速引擎為HQE,改善相容性與穩定性。

V1.3

支援通過外部表格方式查詢MaxCompute的Transactional表。

支援讀取MaxCompute Schema Evolution狀態表。

在MaxCompute側執行過刪除列、修改列順序、修改列類型操作的表。

Hologres和MaxCompute之間互動支援雙簽名認證。

詳情請參見建立Hologres外部表格(雙簽名模式)

支援訪問MaxCompute BYOK方式加密的表。

詳情請參見查詢MaxCompute加密資料(BYOK模式)

V1.1.43

支援外部表格自動載入,實現MaxCompute外部表格的按需自動載入以及全量自動載入。

詳情請參見外部表格自動載入(Auto Load)