E-MapReduce：EMR-4.10.x版本說明

服務

變更點

SmartData

組件下線。

BIGBOOT

JindoSDK

• 升級架構為JindoData。

• EMR首次整合JindoSDK 4.0，支援OSS和OSS-HDFS服務等。

Spark

• 升級至2.4.8版本。

• 修複了Adaptive Execution部分情境無法生效的問題。

• 修複了統計彙總函式行為和Hive不一致的問題。

• 修複了讀取Hive ORC表char類型資料正確性問題。

• 最佳化了Thriftserver的預設配置。

• 最佳化E-MapReduce控制台上，Spark服務配置頁面的spark-defaults頁簽的配置項名稱。

• 最佳化了Hive on Spark。

• 修複了AQE在Stats缺失情況下數組越界的問題。

• 修複了AQE和Cache在特定情境下報錯的問題。

• 移除了無效配置Log4j MetricsAppender。

• 修複了SparkContext啟動過程中null 指標異常的問題。

• 支援ZSTD（Zstandard）壓縮格式。

Hive

• 修複了UDF導致HiveServer2記憶體泄露的問題。

• 修複了使用DLF（DataLakeFormation）中繼資料執行show create table命令時，結果顯示不正確的問題。

• 最佳化Hive預設參數，以提升作業效能。

• 修改了E-MapReduce控制台上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便於使用者使用。

• 最佳化檔案系統與MetaStore不一致時寫Hive表的報錯資訊。

• Hive on JindoFS（Block）支援批量中繼資料最佳化功能，預設未開啟。

Ranger

• 修複了Ranger啟用Spark日誌中的Warning報錯。

• 修複了對接LDAP後，自動同步處理的使用者失敗的問題。

HDFS

• 支援ZSTD（Zstandard）壓縮格式。

• NameNode預留空間預設參數自適應增加，保證磁碟空間不足時， NameNode及時進入SafeMode。

YARN

• 節點Containers REST API增加了appId，CPU和Memory資源使用資訊。

• 修複了Auto Scaling釋放節點上AM日誌無法查看的問題。

• 修複了State Store歷史資料造成叢集停用問題。

• 支援Auto ScalingDecommission後清理釋放的節點。

• 完善了Auto ScalingGraceful Decommission的操作邏輯，待NM（NodeMananger）進程結束後再標記下線完成。

Knox

• 適配Kudu組件。

• 適配HBase組件。

• 修複了Spark Task第一次訪問時失敗的問題。

Tez

最佳化了Tez預設參數，以提升作業效能。

Sqoop

修複了Sqoop匯入HCatalog表時，Decimal類型精度丟失的問題。

Delta Lake

• 中繼資料管理

  • 使用Spark內建Catalog替代Hive CLI API同步中繼資料及分區資訊。

  • 自動上報表的統計資訊（dataProfiling）到MetaStore。

• SQL

  • 支援Time Travel文法。

  • 支援DropPartition SQL文法。

  • 支援指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增強

  • 支援並預設開啟可以根據表大小動態調整filesize。

  • 支援並預設開啟自動Vacuum，支援並發Vacuum。

  • 最佳化了自動Compaction的邏輯，預設關閉。

  • 新增Zorder文法，並加速了Zorder的處理過程。

Hudi

• 升級至0.10.0版本。

• 修複了DeltaLake和Hudi的sql.extension的相容性問題。

Iceberg

新增組件。

版本為0.13.0。

Hue

• 修複了Hue查詢記錄時，中文亂碼的問題。

• 修複了Hue與Oozie整合使用時介面顯示的問題。

• 修複YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

• 預設配置中放開YARN Job Browser。

• 預設配置中支援Presto協議。

DLF-Auth

新增組件。

版本為1.0.4。

HBase

• 修複了高安全叢集重啟HBase耗時過長的問題。

• 修複了Spark 3.1.1版本與HBase整合使用時失敗的問題。

• 最佳化了Graceful Stop流程。

Zookeeper

升級至社區3.6.3版本。

Presto

• 升級Presto至社區358版本。

• 支援UDF動態載入功能，詳情請參見動態載入UDF。

• 支援資料湖分析。

Impala

• 修複了直接刪除OSS分區目錄出現list目錄迴圈的問題。

• 修複了查詢DLF中繼資料表時，提示no such method error的問題。

Zeppelin

升級Zeppelin至社區0.10.0版本。

Oozie

修複了HA情況下Oozie的Jetty Server依賴JAR包衝突，導致Jetty Server無法啟動的問題。

服務

版本

HDFS

3.2.1

YARN

3.2.1

Hive

3.1.2

Spark

2.4.8

Knox

1.1.0

Tez

0.9.2

Ganglia

3.7.2

Sqoop

1.4.7

DLF-Auth

1.0.4

Iceberg

0.13.0

Hudi

0.10.0

DeltaLake

0.6.1

OpenLDAP

2.4.44

Hue

4.9.0

JindoSDK

4.0.0

HBase

2.3.4

Zookeeper

3.6.3

Presto

358

Impala

3.4.0

Zeppelin

0.10.2

Flume

1.9.0

Livy

0.7.1

Superset

0.36.0

Ranger

2.1.0

RSS

1.0.0

Alluxio

2.5.0

Kudu

1.14.0

Oozie

5.2.1