本文介绍如何调整Hive内存参数。
调整场景
随着业务量攀升,当元数据操作引发的作业执行延时增加,并伴有HiveMetaStore服务异常,且监控指标提示内存不足(例如HiveMetaStore内存指标(GC相关)超过阈值),可尝试将HiveMetaStore内存调大。如果HiveServer2也出现上述类似场景,可同时调整HiveServer2内存。
注意事项
如果集群创建时使用数据湖(DLF)统一元数据,则集群内部的HiveMetaStore服务处于未启用状态。关于不同元数据的更多信息,请参见Hive元数据说明。
调整Hive内存参数
在集群Hive组件页面,单击配置,输入配置项名称进行修改。
调整HiveMetaStore内存。
调整hive_metastore_heapsize(默认内存500 MiB),例如2048(代表2 GiB内存),可根据实际需要及机器内存,调整HiveMetastore内存大小。修改完成后,单击保存,然后在组件状态页面重启HiveMetaStore,观察HiveMetaStore状态。
调整HiveServer2内存。
调整hive_server2_heapsize,例如2048(代表2 GiB内存),可根据实际需要及机器内存,调整HiveServer2内存大小。修改完成后,单击保存,然后在组件状态页面重启HiveServer2,观察HiveServer2状态。