Hologres与MaxCompute数据源底层无缝打通,深度融合,可双向直读对方存储,大大提升数据访问效率。本文为您介绍使用Hologres加速读写MaxCompute数据的相关能力及使用限制。
背景信息
大数据计算服务(MaxCompute)是一种快速、完全托管的EB级数据仓库,致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。详情请参见什么是MaxCompute。
Hologres是兼容PostgreSQL协议的实时交互式分析引擎,与MaxCompute存储原生对接,支持使用创建外部数据库、外部表的方式实现MaxCompute加速查询,无冗余存储,无需导入导出数据,即可快速获取查询结果,对外提供服务,采用标准PostgreSQL协议,无缝对接几乎所有主流BI工具。
相比其他非阿里云大数据生态产品,Hologres在加速MaxCompute数据、导入MaxCompute数据以及数据回写MaxCompute的速度性能方面表现更佳。
场景介绍
远程加速MaxCompute数据
Hologres在读取MaxCompute数据时采用直读盘古存储的方式,性能更优,使用上也更简单。您可通过CREATE EXTERNAL DATABASE的方式整库映射MaxCompute内部Project下的Schema和表,或者通过IMPORT FOREIGN SCHEMA方式批量创建外部表,同时对于仅需要加速查询少量MaxCompute表或者某张表中部分字段的场景,我们也提供了CREATE FOREIGN TABLE的方式,您可以根据业务特性和场景,选择合适的加速方式。
从Hologres V3.0 版本开始,远程查询MaxCompute数据取消了一次查询扫描数据量不超过200GB、分区数不超过512个的限制,方便您更好地使用该服务。同时,放宽限制的大查询会消耗更多的Hologres实例资源,请您做好资源隔离,详情请参见计算组实例快速入门,或者对于偶发的大查询可以使用Serverless模式,详情请参见Serverless Computing。
MaxCompute的数据导入Hologres后再进行查询
为了获取更好的查询性能,您也可以将数据导入Hologres,再进行查询。该方式可充分利用Hologres的索引能力进一步加速查询,同时支持的能力上也更加丰富,如支持复杂查询,支持UPDATE、INSERT、DELETE等操作。详情请参见MaxCompute数据导入Hologres。
Hologres数据导出至MaxCompute
对于实时写入Hologres的数据或者在Hologres中进行聚合分析后想写回MaxCompute的场景,详情请参见导出至MaxCompute。
功能详情
Hologres加速MaxCompute外部表支持的具体能力如下:
Hologres版本号 | 支持的能力 | 描述 |
V3.0.7 | 支持通过CREATE EXTERNAL DATABASE的方式完整映射MaxCompute Project下的Schema和表。 | CREATE EXTERNAL DATABASE 用于在Hologres实例中创建一个外部数据库,来加载外部数据源的元数据到Hologres,方便在一个系统中同时管理内、外部数据,实现湖仓一体架构下统一的元数据管理。详情请参见CREATE EXTERNAL DATABASE。 |
取消外部表查询一次查询扫描数据量不超过200GB、分区数不超过512个的限制。 | 无 | |
V2.2.1 | 外部表自动加载支持MaxCompute Schema(三层模型)。 | Schema是MaxCompute介于项目和表、资源、函数之间的概念,对表、资源及函数进行进一步归类。外部表自动加载详情请参见外部表自动加载(Auto Load)。 |
外部表自动加载支持元数据自动刷新。 | 无 | |
外部表自动加载支持MaxCompute外部表Schema Evolution。 | 在MaxCompute侧执行过删除列、修改列顺序、修改列类型等操作的表。详情请参见外部表自动加载(Auto Load)。 | |
支持通过SLR访问MaxCompute数据。 | 服务关联角色(ServiceLinkedRole,简称SLR)是一种可信实体为阿里云服务的RAM角色,旨在解决跨云服务的授权访问问题,详情请参见Hologres服务关联角色。 | |
V2.1 | 支持对MaxCompute三层模型指定Schema下的表进行数据写入。 | Schema是MaxCompute介于项目和表、资源、函数之间的概念,对表、资源及函数进行进一步归类。详情请参见Schema。 |
支持通过HoloWeb可视化访问MaxCompute三层模型指定Schema下的表。 | 详情请参见基于HoloWeb创建MaxCompute外部表。 | |
V2.0 | 升级MaxCompute加速引擎为HQE,改善兼容性与稳定性。 | 无 |
V1.3 | 支持通过外部表方式查询MaxCompute的Transactional表。 | 无 |
支持读取MaxCompute Schema Evolution状态表。 | 在MaxCompute侧执行过删除列、修改列顺序、修改列类型操作的表。 | |
Hologres和MaxCompute之间交互支持双签名认证。 | 详情请参见创建Hologres外部表(双签名模式)。 | |
支持访问MaxCompute BYOK方式加密的表。 | 详情请参见查询MaxCompute加密数据(BYOK模式)。 | |
V1.1.43 | 支持外部表自动加载,实现MaxCompute外部表的按需自动加载以及全量自动加载。 | 详情请参见外部表自动加载(Auto Load)。 |