E-MapReduce：EMR-3.38.x版本說明

版本

日期

EMR-3.38.3

2021年12月

EMR-3.38.2

2021年12月

EMR-3.38.1

2021年11月

EMR-3.38.0

2021年10月

服務

變更點

Presto

• 修複了高可用叢集Presto查詢Hudi表報錯的問題。

• 修複了Elasticsearch連接器的Log4j漏洞。

DLF Metastore

• 將Metastore log預設開啟改為關閉。

• 修複了Metastore gettablestats URI超長出錯的問題。

Delta Lake

修複了變更Schema同步到Metastore的問題。

Flink

• 升級VVR到4.0.11版本，該版本支援了如下功能：

  • 發布Flink CDC商業功能：

    • 支援Schema Evolution。

    • 支援整庫同步的Flink SQL語義。

  • 支援Gemini Statebackend將State儲存到OSS上。

• 提供了企業版Hudi Connector，內建DLF作為中繼資料管理。

Sqoop

修複了Sqoop匯入HCatalog表時，Decimal類型精度丟失的問題。

服務

變更點

SmartData

• 升級SmartData至3.8.0版本，詳情請參見SmartData 3.8.x版本簡介。

• 支援OSS基於Kerberos和Ranger的認證和授權管理。

服務

變更點

SmartData

升級SmartData至3.7.3版本，詳情請參見SmartData 3.7.x版本簡介。

Spark

• 移除了無效配置Log4j MetricsAppender。

• 修複了SparkContext啟動過程中null 指標異常的問題。

Presto

• 修複了Hadoop高可用叢集，Presto需要配置host才能查詢Hive表的問題。

• 修複了記憶體較小時，預設配置下Presto無法啟動的問題。

• 修複了修改worker-jvm配置無法生效的問題。

• 支援Ranger。

Impala

修複了查詢DLF中繼資料表時，提示no such method error的問題。

Ranger

• 支援Presto。

• 修複了Ranger Spark insert ORC和PARQUET表的許可權問題。

• 修複了Ranger Hive role許可權在開啟Kerberos後無法生效的問題。

DLF-Auth

• 升級DLF-Auth至1.0.1版本。

• 支援DLF許可權，可以控制Presto許可權。

• 修複了RAM使用者緩衝的問題。

服務

變更點

SmartData

升級SmartData至3.7.2版本，詳情請參見SmartData 3.7.x版本簡介。

Spark

• 升級Spark至2.4.8版本。

• 同時支援Spark 2.4.8和Spark 3.1.2。

  說明

  Spark3暫不支援Delta和Remote Shuffle Service。

• Spark 3.x系列，SparkSQL最佳化了Distinct計算效能，即當彙總運算元中包含多個count(distinct case ... when ...)時會觸發最佳化功能。

• 修複了AQE在Stats缺失情況下數組越界的問題。

• 修複了AQE和Cache在特定情境下報錯的問題。

Hive

升級Hive至2.3.9版本。

Presto

• 發布成獨立的Presto叢集。

• 升級Presto至社區358版本。

  重要

  此版本暫不支援Ranger。

• 預設支援Hudi和MySQL等連接器，並更新了預設配置。

• Presto叢集支援Auto Scaling。

• 支援資料湖分析。

DeltaLake

• 統一Hive 2和Hive 3的delta-connectors。

• 修複了delta-connectors查詢多級分區表時的報錯問題。

Hudi

• 升級Hudi至0.9.0版本。

• 修複了DeltaLake和Hudi的sql.extension的相容性問題。

HDFS

NameNode預留空間預設參數自適應增加，保證磁碟空間不足時， NameNode及時進入SafeMode。

Flink

• 升級Flink至1.13-vvr-4.0.10版本，對應社區Flink 1.13.1。

• 添加了商業化的Flink Connector。例如，Hologres。

• 添加了相應的Metric Reporter，對接了APM大盤的監控。

• 針對Kafka Connector，添加了基於SchemaRegistry的Kafka Catalog，支援直接讀寫已存在的Kafka Topic，無需DDL。

Storm

組件下線。

Zeppelin

升級Zeppelin至社區0.10.0版本。

Ranger

當Presto為社區358版本時，該版本Ranger暫不支援Presto許可權控制。

Hue

• 修複YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

• 預設配置中放開YARN Job Browser。

• 預設配置中支援Presto協議。

Druid

修複了伺服器掉電時Pid檔案殘留，導致節點重啟失敗的問題。

ClickHouse

• 更新了預設配置。

• 支援叢集擴容。

• 支援MetaChecker功能。

• 支援OSS表引擎和OSS表函數讀資料。

• 支援表層級自訂ZooKeeper地址。

Iceberg

新增組件。版本為0.12.0-1.0.1。

Knox

修複了Spark Task第一次訪問時失敗的問題。

DLF-Auth

新增組件。

支援DLF許可權，可以控制Hive和Spark許可權。版本為1.0.0。

ESS

升級ESS至1.2.0版本。