全部产品
Search

搜索本产品

    开源大数据平台E-MapReduce：EMR-5.4.x版本说明

    文档中心

    开源大数据平台E-MapReduce：EMR-5.4.x版本说明

    更新时间：Apr 27, 2023

    本文介绍EMR-5.4.x版本的发布日期、更新内容和发行版本信息。

    发布日期

    版本

    日期

    EMR-5.4.3

    2021年12月

    EMR-5.4.2

    2021年12月

    EMR-5.4.1

    2021年11月

    EMR-5.4.0

    2021年10月

    更新内容

    EMR-5.4.3

    修复了所有相关组件的Log4j安全漏洞，详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。

    服务

    变更点

    Presto

    修复了Elasticsearch连接器的Log4j漏洞。

    DLF Metastore

    • 将Metastore log默认开启改为关闭。

    • 修复了Metastore gettablestats URI超长出错的问题。

    Delta Lake

    修复了变更Schema同步到Metastore的问题。

    Sqoop

    修复了Sqoop导入HCatalog表时，Decimal类型精度丢失的问题。

    EMR-5.4.2

    服务

    变更点

    SmartData

    • 升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。

    • 支持OSS基于Kerberos和Ranger的认证和授权管理。

    EMR-5.4.1

    服务

    变更点

    SmartData

    升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。

    Oozie

    修复了HA情况下Oozie的Jetty Server依赖JAR包冲突，导致Jetty Server无法启动的问题。

    Impala

    修复了查询DLF元数据表时提示no such method error的问题。

    DLF-Auth

    升级DLF-Auth至1.0.1版本。

    EMR-5.4.0

    服务

    变更点

    SmartData

    升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。

    Spark

    • 升级Spark至3.1.2版本。

    • Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。

    • 修复了AQE在Stats缺失情况下数组越界的问题。

    • 修复了AQE和Cache在特定场景下报错的问题。

    Hive

    Hive on JindoFS（Block）支持批量元数据优化功能，默认未开启。

    Presto

    Delta表支持StorageHandler查询。

    DeltaLake

    • 升级DeltaLake至1.0.0版本。

    • 统一Hive 2和Hive 3的delta-connectors。

    • 修复了delta-connectors查询多级分区表时的报错问题。

    • 支持多个功能的SQL语法。例如，DataSkipping、Optimize和Zorder。

    • 支持同步Meta到MetaStore。

    Hudi

    • 升级Hudi至0.9.0版本。

    • 修复了DeltaLake和Hudi的sql.extension的兼容性问题。

    说明

    支持Spark 3.1.2版本。

    HDFS

    NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。

    Storm

    组件下线。

    Zeppelin

    升级Zeppelin至社区0.10.0版本。

    Hue

    • 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。

    • 默认配置中放开YARN Job Browser。

    • 默认配置中支持Presto协议。

    Druid

    修复了服务器掉电时Pid文件残留，导致节点重启失败的问题。

    ClickHouse

    • 更新了默认配置。

    • 支持集群扩容。

    • 支持MetaChecker功能。

    • 支持OSS表引擎和OSS表函数读数据。

    Iceberg

    • 升级Iceberg至0.12.0-1.0.1版本。

    • 修改了Hive Runtime依赖报错问题。

    Knox

    修复了Spark Task第一次访问时失败的问题。

    DLF-Auth

    新增组件。

    支持DLF权限，可以控制Hive和Spark权限。版本为1.0.0。

    发行版本信

    Hadoop集群

    服务

    版本

    HDFS

    3.2.1

    YARN

    3.2.1

    Hive

    3.1.2

    Spark

    3.1.2

    Knox

    1.1.0

    Tez

    0.9.2

    Ganglia

    3.7.2

    Sqoop

    1.4.7

    SmartData

    EMR-5.4.0版本：3.7.2

    EMR-5.4.1版本：3.7.3

    EMR-5.4.2版本：3.8.0

    Bigboot

    Iceberg

    0.12.0

    DLF-Auth

    1.0.0

    Hudi

    0.9.0

    DeltaLake

    1.0.0

    OpenLDAP

    2.4.44

    Hue

    4.9.0

    HBase

    2.3.4

    Zookeeper

    3.6.3

    Presto

    338

    Impala

    3.4.0

    Zeppelin

    0.10.0

    Flume

    1.9.0

    Livy

    0.7.1

    Superset

    0.36.0

    Ranger

    2.1.0

    ESS

    1.2.0

    Alluxio

    2.5.0

    Kudu

    1.14.0

    Oozie

    5.2.1

    Kafka集群

    服务

    版本

    Zookeeper

    3.6.3

    Ganglia

    3.7.2

    Kafka

    2.4.1

    Kafka-Manager

    1.3.3.16

    OpenLDAP

    2.4.44

    knox

    1.1.0

    Ranger

    2.1.0

    ClickHouse集群

    服务

    版本

    Zookeeper

    3.6.3

    Ganglia

    3.7.2

    Clickhouse

    21.3.13.9