Hologres與MaxCompute資料來源底層無縫打通,深度融合,可雙向直讀對方儲存,大大提升資料訪問效率。本文為您介紹使用Hologres加速讀寫MaxCompute資料的相關能力及使用限制。
背景資訊
MaxCompute(MaxCompute)是一種快速、完全託管的EB級資料倉儲,致力於批量結構化資料的儲存和計算,提供海量資料倉儲的解決方案及分析建模服務。詳情請參見什麼是MaxCompute。
Hologres是相容PostgreSQL協議的即時互動式分析引擎,與MaxCompute儲存原生對接,支援使用建立外部資料庫、外部表格的方式實現MaxCompute加速查詢,無冗餘儲存,無需匯入匯出資料,即可快速擷取查詢結果,對外提供服務,採用標準PostgreSQL協議,無縫對接幾乎所有主流BI工具。
相比其他非阿里雲巨量資料生態產品,Hologres在加速MaxCompute資料、匯入MaxCompute資料以及資料回寫MaxCompute的速度效能方面表現更佳。
情境介紹
遠程加速MaxCompute資料
Hologres在讀取MaxCompute資料時採用直讀Apsara Distributed File System儲存的方式,效能更優,使用上也更簡單。您可通過CREATE EXTERNAL DATABASE的方式整庫映射MaxCompute內部Project下的Schema和表,或者通過IMPORT FOREIGN SCHEMA方式大量建立外部表格,同時對於僅需要加速查詢少量MaxCompute表或者某張表中部分欄位的情境,我們也提供了CREATE FOREIGN TABLE的方式,您可以根據業務特性和情境,選擇合適的加速方式。
從Hologres V3.0 版本開始,遠程查詢MaxCompute資料取消了一次查詢掃描資料量不超過200GB、分區數不超過512個的限制,方便您更好地使用該服務。同時,放寬限制的大查詢會消耗更多的Hologres執行個體資源,請您做好資源隔離,詳情請參見計算群組執行個體快速入門,或者對於偶發的大查詢可以使用Serverless模式,詳情請參見Serverless Computing。
MaxCompute的資料匯入Hologres後再進行查詢
為了擷取更好的查詢效能,您也可以將資料匯入Hologres,再進行查詢。該方式可充分利用Hologres的索引能力進一步加速查詢,同時支援的能力上也更加豐富,如支援複雜查詢,支援UPDATE、INSERT、DELETE等操作。詳情請參見MaxCompute資料匯入Hologres。
Hologres資料匯出至MaxCompute
對於即時寫入Hologres的資料或者在Hologres中進行彙總分析後想寫回MaxCompute的情境,詳情請參見匯出至MaxCompute。
功能詳情
Hologres加速MaxCompute外部表格支援的具體能力如下:
Hologres版本號碼 | 支援的能力 | 描述 |
V3.0.7 | 支援通過CREATE EXTERNAL DATABASE的方式完整映射MaxCompute Project下的Schema和表。 | CREATE EXTERNAL DATABASE 用於在Hologres執行個體中建立一個外部資料庫,來載入外部資料源的中繼資料到Hologres,方便在一個系統中同時管理內、外部資料,實現湖倉一體架構下統一的中繼資料管理。詳情請參見CREATE EXTERNAL DATABASE。 |
取消外部表格查詢一次查詢掃描資料量不超過200GB、分區數不超過512個的限制。 | 無 | |
V2.2.1 | 外部表格自動載入支援MaxCompute Schema(三層模型)。 | Schema是MaxCompute介於專案和表、資源、函數之間的概念,對錶、資源及函數進行進一步歸類。外部表格自動載入詳情請參見外部表格自動載入(Auto Load)。 |
外部表格自動載入支援中繼資料自動重新整理。 | 無 | |
外部表格自動載入支援MaxCompute外部表格Schema Evolution。 | 在MaxCompute側執行過刪除列、修改列順序、修改列類型等操作的表。詳情請參見外部表格自動載入(Auto Load)。 | |
支援通過SLR訪問MaxCompute資料。 | 服務關聯角色(ServiceLinkedRole,簡稱SLR)是一種可信實體為阿里雲服務的RAM角色,旨在解決跨雲端服務的授權訪問問題,詳情請參見Hologres服務關聯角色。 | |
V2.1 | 支援對MaxCompute三層模型指定Schema下的表進行資料寫入。 | Schema是MaxCompute介於專案和表、資源、函數之間的概念,對錶、資源及函數進行進一步歸類。詳情請參見Schema。 |
支援通過HoloWeb可視化訪問MaxCompute三層模型指定Schema下的表。 | ||
V2.0 | 升級MaxCompute加速引擎為HQE,改善相容性與穩定性。 | 無 |
V1.3 | 支援通過外部表格方式查詢MaxCompute的Transactional表。 | 無 |
支援讀取MaxCompute Schema Evolution狀態表。 | 在MaxCompute側執行過刪除列、修改列順序、修改列類型操作的表。 | |
Hologres和MaxCompute之間互動支援雙簽名認證。 | 詳情請參見建立Hologres外部表格(雙簽名模式)。 | |
支援訪問MaxCompute BYOK方式加密的表。 | 詳情請參見查詢MaxCompute加密資料(BYOK模式)。 | |
V1.1.43 | 支援外部表格自動載入,實現MaxCompute外部表格的按需自動載入以及全量自動載入。 | 詳情請參見外部表格自動載入(Auto Load)。 |