开源大数据平台E-MapReduce：EMR-5.3.x版本说明

版本

日期

EMR-5.3.1

2021年9月

EMR-5.3.0

2021年8月

服务

变更点

SmartData

升级SmartData至3.7.1版本。

Hue

修复了高安全集群无法使用Impala的问题。

Kudu

支持Kerberos。

HBase

• 修复了高安全集群重启HBase耗时过长的问题。

• 修复了Spark 3.1.1版本与HBase集成使用时失败的问题。

• 优化了Graceful Stop流程。

服务

变更点

SmartData

升级SmartData至3.7.0版本。

Spark

修复了与Delta Lake兼容性的问题。

Hive

Hive on JindoFS（Block模式）支持批量元数据优化功能。

默认未开启此功能。

DeltaLake

• 支持DeltaLake的分区特性。

• 修复了desc detail命令和Spark 3.1.1版本不兼容的问题。

YARN

• 节点Containers REST API增加了appId，CPU和Memory资源使用信息。

• 修复了弹性伸缩释放节点上AM日志无法查看的问题。

• 修复了State Store历史数据造成集群不可用的问题。

• 支持弹性伸缩Decommission后清理释放的节点。

• 完善了弹性伸缩Graceful Decommission的操作逻辑，待NM进程结束后再标记下线完成。

Zookeeper

升级至社区3.6.3版本。

Flink

• 新增了SmartData组件。

• 修复了SSH到DataFlow-Flink集群中提交作业时，无法免密访问OSS的问题。

Impala

修复了直接删除OSS分区目录出现list目录循环的问题。

Hue

修复了Hue与Oozie集成使用时界面显示的问题。

Kudu

升级至社区1.14.0版本。

Clickhouse

组件版本为21.3.13.9。

Iceberg

新增Iceberg组件，组件版本为0.12.0。