全部产品
Search

搜索本产品

    开源大数据平台E-MapReduce：EMR-3.51.x版本说明

    文档中心

    开源大数据平台E-MapReduce：EMR-3.51.x版本说明

    更新时间：Dec 19, 2024

    本文介绍EMR-3.51.x版本的发布日期、更新内容和发行版本信息。

    发布日期

    版本

    日期

    EMR-3.51.4

    2024年12月18日

    EMR-3.51.3

    2024年11月29日

    EMR-3.51.2

    2024年08月29日

    EMR-3.51.1

    2024年06月21日

    EMR-3.51.0

    2024年04月23日

    更新内容

    EMR-3.51.4

    服务

    变更点

    JindoCache

    升级至6.5.3版本。

    StarRocks2

    升级至2.5.22版本。

    StarRocks3

    升级至3.2.11版本。

    EMR-3.51.3

    服务

    变更点

    JindoSDK

    升级JindoSDK以解决死锁问题。

    EMR-3.51.2

    服务

    变更点

    JindoCache

    • 升级至6.5.1版本。

    • 提升DHT（Distributed Hash Table）的读写性能。

    Spark

    • 修复了无法删除分区目录的问题。

    • 修复了Hive包依赖问题，确保客户端操作不中断与metaStoreClient的连接。

    Trino

    • 修复了扩容过程中可能导致部分已修改配置意外恢复的问题。

    • 支持查询高安全OSS-HDFS上的数据。

    • 修复启用DLF-AUTH后服务异常的问题。

    Presto

    支持查询高安全OSS-HDFS上的数据。

    HDFS

    解决了无法修改NameNode和DataNode内存的问题。

    HBaseHDFS

    YARN

    • ResourceManager支持批量发送timeline事件，提升了处理能力。

    • 修复了ResourceManager中容器和资源处理的逻辑问题。

    Zookeeper

    • 解决了无法修改节点组内存配置的问题。

    • 支持重构日志配置文件。

    Impala

    修复了弹性扩容时修改客户配置的问题。

    Ranger

    支持新版JindoSDK内核，有效降低了CPU使用率。

    Knox

    修复了仅有一个Master-Extend时组件URL访问失效的问题。

    Kafka

    修复了Kafka Connect集群启动的问题。

    StarRocks

    修复了扩容后看不到新增BE的问题。

    Doris

    升级至2.1.4版本。

    Paimon

    升级至0.9-ali-7版本。

    EMRHOOK

    支持解析MaxCompute表的血缘数据。

    EMR-3.51.1

    服务

    变更点

    Spark

    支持部署Master-Extend节点组。

    Hive

    Kyuubi

    Paimon

    将Flink依赖从VVR版本替换为社区版，并支持DLF Catalog。

    Knox

    使用JDK 8进行打包。

    Flink

    已恢复在EMR-3.51.0中移除的DLF配置和依赖项。

    EMR-3.51.0

    服务

    变更点

    Spark

    Spark3升级至3.4.2版本。

    Celeborn

    升级至0.4.0版本。

    Doris

    升级至2.1.0版本。

    StarRocks

    • StarRocks2升级至2.5.18版本。

    • StarRocks3升级至3.2.4版本。

    DeltaLake

    升级至3.0.0版本。

    Iceberg

    升级至1.5.0版本。

    Zookeeper

    升级至3.8.4版本。

    JindoCache

    升级至6.2.5版本。

    Flink

    升级至1.17.2版本。

    发行版本信息

    DataLake集群

    服务

    版本

    Hadoop-Common

    2.8.5

    HDFS

    2.8.5

    OSS-HDFS

    1.0.0

    Hive

    2.3.9

    Spark2

    2.4.8

    Spark3

    3.4.2

    YARN

    2.8.5

    Trino

    422

    DeltaLake

    3.0.0

    Hudi

    0.14.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.7.3

    Tez

    0.10.2

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Sqoop

    1.4.7

    DLF-Auth

    2.0.2

    Presto

    0.283

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Celeborn

    0.4.0

    JindoCache

    • EMR-3.51.4：6.5.3

    • EMR-3.51.3和EMR-3.51.2：6.5.1

    • EMR-3.51.1和EMR-3.51.0：6.2.5

    Paimon

    • EMR-3.51.2：0.9-ali-7

    • EMR-3.51.1和EMR-3.51.0：0.7-ali-1

    OLAP集群

    服务

    版本

    StarRocks2

    • EMR-3.51.4：2.5.22

    • EMR-3.51.1至EMR-3.51.3：2.5.18

    StarRocks3

    • EMR-3.51.4：3.2.11

    • EMR-3.51.1至EMR-3.51.3：3.2.4

    Doris

    • EMR-5.17.2至EMR-3.51.4：2.1.4

    • EMR-5.17.1和EMR-3.51.0：2.1.0

    ClickHouse

    23.8.2.7

    Zookeeper

    3.8.4

    DataFlow集群

    服务

    版本

    Hadoop-Common

    2.8.5

    HDFS

    2.8.5

    OSS-HDFS

    1.0.0

    YARN

    2.8.5

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Kafka

    2.12_2.4.1

    Kafka-Manager

    3.0.0.6

    Paimon

    • EMR-3.51.2：0.9-ali-7

    • EMR-3.51.1和EMR-3.51.0：0.7-ali-1

    DataServing集群

    服务

    版本

    Hadoop-Common

    2.8.5

    HDFS

    2.8.5

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Zookeeper

    3.8.4

    Knox

    1.5.0

    HBase

    1.7.1

    JindoCache

    • EMR-3.51.4：6.5.3

    • EMR-3.51.3和EMR-3.51.2：6.5.1

    • EMR-3.51.1和EMR-3.51.0：6.2.5

    Phoenix

    4.16.1

    自定义集群

    服务

    版本

    Hadoop-Common

    2.8.5

    HDFS

    2.8.5

    OSS-HDFS

    1.0.0

    Hive

    2.3.9

    Spark2

    2.4.8

    Spark3

    3.4.2

    YARN

    2.8.5

    Trino

    422

    DeltaLake

    3.0.0

    Hudi

    0.14.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.7.3

    Tez

    0.10.2

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Sqoop

    1.4.7

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    • EMR-3.51.4：2.5.22

    • EMR-3.51.1至EMR-3.51.3：2.5.18

    StarRocks3

    • EMR-3.51.4：3.2.11

    • EMR-3.51.1至EMR-3.51.3：3.2.4

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Celeborn

    0.4.0

    Flink

    1.17.2

    HBase

    1.7.1

    JindoCache

    • EMR-3.51.4：6.5.3

    • EMR-3.51.3和EMR-3.51.2：6.5.1

    • EMR-3.51.1和EMR-3.51.0：6.2.5

    Kudu

    1.16.0

    Paimon

    • EMR-3.51.2至EMR-3.51.4：0.9-ali-7

    • EMR-3.51.1和EMR-3.51.0：0.7-ali-1

    Phoenix

    4.16.1