E-MapReduce：EMR-5.3.x版本說明

版本

日期

EMR-5.3.1

2021年9月

EMR-5.3.0

2021年8月

服務

變更點

SmartData

升級SmartData至3.7.1版本。

Hue

修複了高安全叢集無法使用Impala的問題。

Kudu

支援Kerberos。

HBase

• 修複了高安全叢集重啟HBase耗時過長的問題。

• 修複了Spark 3.1.1版本與HBase整合使用時失敗的問題。

• 最佳化了Graceful Stop流程。

服務

變更點

SmartData

升級SmartData至3.7.0版本。

Spark

修複了與Delta Lake相容性的問題。

Hive

Hive on JindoFS（Block模式）支援批量中繼資料最佳化功能。

預設未開啟此功能。

DeltaLake

• 支援DeltaLake的分區特性。

• 修複了desc detail命令和Spark 3.1.1版本不相容的問題。

YARN

• 節點Containers REST API增加了appId，CPU和Memory資源使用資訊。

• 修複了Auto Scaling釋放節點上AM日誌無法查看的問題。

• 修複了State Store歷史資料造成叢集停用問題。

• 支援Auto ScalingDecommission後清理釋放的節點。

• 完善了Auto ScalingGraceful Decommission的操作邏輯，待NM進程結束後再標記下線完成。

Zookeeper

升級至社區3.6.3版本。

Flink

• 新增了SmartData組件。

• 修複了SSH到DataFlow-Flink叢集中提交作業時，無法免密訪問OSS的問題。

Impala

修複了直接刪除OSS分區目錄出現list目錄迴圈的問題。

Hue

修複了Hue與Oozie整合使用時介面顯示的問題。

Kudu

升級至社區1.14.0版本。

Clickhouse

組件版本為21.3.13.9。

Iceberg

新增Iceberg組件，組件版本為0.12.0。