全部产品
Search

搜索本产品

    开源大数据平台E-MapReduce：EMR-5.17.x版本说明

    文档中心

    开源大数据平台E-MapReduce：EMR-5.17.x版本说明

    更新时间：Dec 19, 2024

    本文介绍5.17.x版本的发布日期、更新内容和发行版本信息。

    发布日期

    版本

    日期

    EMR-5.17.4

    2024年12月18日

    EMR-5.17.3

    2024年11月29日

    EMR-5.17.2

    2024年08月29日

    EMR-5.17.1

    2024年06月21日

    EMR-5.17.0

    2024年04月23日

    更新内容

    EMR-5.17.4

    服务

    变更点

    JindoCache

    升级至6.5.3版本。

    StarRocks2

    升级至2.5.22版本。

    StarRocks3

    升级至3.2.11版本。

    EMR-5.17.3

    服务

    变更点

    JindoSDK

    升级JindoSDK以解决死锁问题。

    EMR-5.17.2

    服务

    变更点

    JindoCache

    • 升级至6.5.1版本。

    • 提升DHT（Distributed Hash Table）的读写性能。

    Spark

    • 修复了无法删除分区目录的问题。

    • 修复了Hive包依赖问题，确保客户端操作不中断与metaStoreClient的连接。

    Trino

    • 修复了扩容过程中可能导致部分已修改配置意外恢复的问题。

    • 支持查询高安全OSS-HDFS上的数据。

    • 修复启用DLF-AUTH后服务异常的问题。

    Presto

    支持查询高安全OSS-HDFS上的数据。

    HDFS

    解决了无法修改NameNode和DataNode内存的问题。

    HBaseHDFS

    YARN

    • ResourceManager支持批量发送timeline事件，提升了处理能力。

    • 修复了ResourceManager中容器和资源处理的逻辑问题。

    Zookeeper

    • 解决了无法修改节点组内存配置的问题。

    • 支持重构日志配置文件。

    Impala

    修复了弹性扩容时修改客户配置的问题。

    Ranger

    支持新版JindoSDK内核，有效降低了CPU使用率。

    Knox

    修复了仅有一个Master-Extend时组件URL访问失效的问题。

    Kafka

    修复了Kafka Connect集群启动的问题。

    StarRocks

    修复了扩容后看不到新增BE的问题。

    Doris

    升级至2.1.4版本。

    Paimon

    升级至0.9-ali-7版本。

    EMRHOOK

    支持解析MaxCompute表的血缘数据。

    EMR-5.17.1

    服务

    变更点

    Spark

    支持部署Master-Extend节点组。

    Hive

    Kyuubi

    Paimon

    将Flink依赖从VVR版本替换为社区版，并支持DLF Catalog。

    Knox

    使用JDK 8进行打包。

    Flink

    已恢复在EMR-5.17.0中移除的DLF配置和依赖项。

    EMR-5.17.0

    服务

    变更点

    Spark

    Spark3升级至3.4.2版本。

    Celeborn

    升级至0.4.0版本。

    Doris

    升级至2.1.0版本。

    StarRocks

    • StarRocks2升级至2.5.18版本。

    • StarRocks3升级至3.2.4版本。

    DeltaLake

    升级至3.0.0版本。

    Iceberg

    升级至1.5.0版本。

    Zookeeper

    升级至3.8.4版本。

    JindoCache

    升级至6.2.5版本。

    Flink

    升级至1.17.2版本。

    发行版本信息

    DataLake集群

    服务

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.4.2

    Tez

    0.10.2

    Trino

    422

    DeltaLake

    3.0.0

    Hudi

    0.14.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.7.3

    YARN

    3.2.1

    Impala

    4.3.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.4.0

    JindoCache

    • EMR-5.17.4：6.5.3

    • EMR-5.17.3和EMR-5.17.2：6.5.1

    • EMR-5.17.1和EMR-5.17.0：6.2.5

    Paimon

    • EMR-5.17.2至EMR-5.17.4：0.9-ali-7

    • EMR-5.17.1和EMR-5.17.0：0.7-ali-1

    OLAP集群

    服务

    版本

    StarRocks2

    • EMR-5.17.4：2.5.22

    • EMR-5.17.1至EMR-5.17.3：2.5.18

    StarRocks3

    • EMR-5.17.4：3.2.11

    • EMR-5.17.1至EMR-5.17.3：3.2.4

    Doris

    • EMR-5.17.2至EMR-5.17.4：2.1.4

    • EMR-5.17.1和EMR-5.17.0：2.1.0

    ClickHouse

    23.3.13.6

    Zookeeper

    3.8.4

    DataFlow集群

    服务

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Kafka

    2.13_3.6.1

    Kafka-Manager

    3.0.0.6

    Paimon

    • EMR-5.17.2至EMR-5.17.4：0.9-ali-7

    • EMR-5.17.1和EMR-5.17.0：0.7-ali-1

    DataServing集群

    服务

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Zookeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.4.9

    JindoCache

    • EMR-5.17.4：6.5.3

    • EMR-5.17.3和EMR-5.17.2：6.5.1

    • EMR-5.17.1和EMR-5.17.0：6.2.5

    Phoenix

    5.1.2

    自定义集群

    服务

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.4.2

    Tez

    0.10.2

    Trino

    422

    DeltaLake

    3.0.0

    Hudi

    0.14.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.7.3

    YARN

    3.2.1

    Impala

    4.3.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    • EMR-5.17.4：2.5.22

    • EMR-5.17.1至EMR-5.17.3：2.5.18

    StarRocks3

    • EMR-5.17.4：3.2.11

    • EMR-5.17.1至EMR-5.17.3：3.2.4

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.4.0

    Flink

    1.17.2

    HBase

    2.4.9

    JindoCache

    • EMR-5.17.4：6.5.3

    • EMR-5.17.3和EMR-5.17.2：6.5.1

    • EMR-5.17.1和EMR-5.17.0：6.2.5

    Kudu

    1.16.0

    Paimon

    • EMR-5.17.2至EMR-5.17.4：0.9-ali-7

    • EMR-5.17.1和EMR-5.17.0：0.7-ali-1

    Phoenix

    5.1.2