全部產品
Search

搜尋本產品

    E-MapReduce：EMR-5.4.x版本說明

    文件中心

    E-MapReduce：EMR-5.4.x版本說明

    更新時間：Jul 01, 2024

    本文介紹EMR-5.4.x版本的發布日期、更新內容和發行版本資訊。

    發布日期

    版本

    日期

    EMR-5.4.3

    2021年12月

    EMR-5.4.2

    2021年12月

    EMR-5.4.1

    2021年11月

    EMR-5.4.0

    2021年10月

    更新內容

    EMR-5.4.3

    修複了所有相關組件的Log4j安全性漏洞，詳細資料請參見漏洞公告 | Apache Log4j2遠程代碼執行漏洞。

    服務

    變更點

    Presto

    修複了Elasticsearch連接器的Log4j漏洞。

    DLF Metastore

    • 將Metastore log預設開啟改為關閉。

    • 修複了Metastore gettablestats URI超長出錯的問題。

    Delta Lake

    修複了變更Schema同步到Metastore的問題。

    Sqoop

    修複了Sqoop匯入HCatalog表時，Decimal類型精度丟失的問題。

    EMR-5.4.2

    服務

    變更點

    SmartData

    • 升級SmartData至3.8.0版本，詳情請參見SmartData 3.8.x版本簡介。

    • 支援OSS基於Kerberos和Ranger的認證和授權管理。

    EMR-5.4.1

    服務

    變更點

    SmartData

    升級SmartData至3.7.3版本，詳情請參見SmartData 3.7.x版本簡介。

    Oozie

    修複了HA情況下Oozie的Jetty Server依賴JAR包衝突，導致Jetty Server無法啟動的問題。

    Impala

    修複了查詢DLF中繼資料表時提示no such method error的問題。

    DLF-Auth

    升級DLF-Auth至1.0.1版本。

    EMR-5.4.0

    服務

    變更點

    SmartData

    升級SmartData至3.7.2版本，詳情請參見SmartData 3.7.x版本簡介。

    Spark

    • 升級Spark至3.1.2版本。

    • Spark 3.x系列，SparkSQL最佳化了Distinct計算效能，即當彙總運算元中包含多個count(distinct case ... when ...)時會觸發最佳化功能。

    • 修複了AQE在Stats缺失情況下數組越界的問題。

    • 修複了AQE和Cache在特定情境下報錯的問題。

    Hive

    Hive on JindoFS（Block）支援批量中繼資料最佳化功能，預設未開啟。

    Presto

    Delta表支援StorageHandler查詢。

    DeltaLake

    • 升級DeltaLake至1.0.0版本。

    • 統一Hive 2和Hive 3的delta-connectors。

    • 修複了delta-connectors查詢多級分區表時的報錯問題。

    • 支援多個功能的SQL文法。例如，DataSkipping、Optimize和Zorder。

    • 支援同步Meta到MetaStore。

    Hudi

    • 升級Hudi至0.9.0版本。

    • 修複了DeltaLake和Hudi的sql.extension的相容性問題。

    說明

    支援Spark 3.1.2版本。

    HDFS

    NameNode預留空間預設參數自適應增加，保證磁碟空間不足時， NameNode及時進入SafeMode。

    Storm

    組件下線。

    Zeppelin

    升級Zeppelin至社區0.10.0版本。

    Hue

    • 修複YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

    • 預設配置中放開YARN Job Browser。

    • 預設配置中支援Presto協議。

    Druid

    修複了伺服器掉電時Pid檔案殘留，導致節點重啟失敗的問題。

    ClickHouse

    • 更新了預設配置。

    • 支援叢集擴容。

    • 支援MetaChecker功能。

    • 支援OSS表引擎和OSS表函數讀資料。

    Iceberg

    • 升級Iceberg至0.12.0-1.0.1版本。

    • 修改了Hive Runtime依賴報錯問題。

    Knox

    修複了Spark Task第一次訪問時失敗的問題。

    DLF-Auth

    新增組件。

    支援DLF許可權，可以控制Hive和Spark許可權。版本為1.0.0。

    發行版本信

    Hadoop叢集

    服務

    版本

    HDFS

    3.2.1

    YARN

    3.2.1

    Hive

    3.1.2

    Spark

    3.1.2

    Knox

    1.1.0

    Tez

    0.9.2

    Ganglia

    3.7.2

    Sqoop

    1.4.7

    SmartData

    EMR-5.4.0版本：3.7.2

    EMR-5.4.1版本：3.7.3

    EMR-5.4.2版本：3.8.0

    Bigboot

    Iceberg

    0.12.0

    DLF-Auth

    1.0.0

    Hudi

    0.9.0

    DeltaLake

    1.0.0

    OpenLDAP

    2.4.44

    Hue

    4.9.0

    HBase

    2.3.4

    Zookeeper

    3.6.3

    Presto

    338

    Impala

    3.4.0

    Zeppelin

    0.10.0

    Flume

    1.9.0

    Livy

    0.7.1

    Superset

    0.36.0

    Ranger

    2.1.0

    ESS

    1.2.0

    Alluxio

    2.5.0

    Kudu

    1.14.0

    Oozie

    5.2.1

    Kafka叢集

    服務

    版本

    Zookeeper

    3.6.3

    Ganglia

    3.7.2

    Kafka

    2.4.1

    Kafka-Manager

    1.3.3.16

    OpenLDAP

    2.4.44

    knox

    1.1.0

    Ranger

    2.1.0

    ClickHouse叢集

    服務

    版本

    Zookeeper

    3.6.3

    Ganglia

    3.7.2

    Clickhouse

    21.3.13.9