E-MapReduce：EMR-5.5.x版本說明

版本

日期

EMR-5.5.1

2022年3月25日

EMR-5.5.0

2022年2月15日

服務

變更點

Clickhouse

修改了部分參數的預設值。

StarRocks

升級至2.1.1版本。

服務

變更點

SmartData

組件下線。

BIGBOOT

RSS

• 升級ESS服務為RSS。

• 增強了服務的功能和穩定性。

JindoSDK

• 升級架構為JindoData。

• EMR首次整合JindoSDK 4.0，支援OSS和OSS-HDFS服務等。

Spark

• COUNT DISTINCT函數支援IF語句以及最佳化Case when的用法。

  設定參數spark.sql.optimizer.rewriteConditionalDistinctAggregates為true。

• Shuffle Hash Join支援fallback到Sort Merge Join。

  設定參數spark.sql.join.preferSortMergeJoin為false，設定參數spark.sql.join.enableShuffledHashJoinFallback為true。

• 支援非動態分區自動合并小檔案。

  設定spark.sql.adaptive.merge.output.small.files.enabled參數為true。

• GroupingSet以及Distinct等情境會自動調整並發度。

  設定參數spark.sql.execution.optimizeExpand為true。

• 最佳化了Hive on Spark。

• 支援Time Travel文法。

• 適配JindoSDK。

Tez

適配JindoSDK。

Hive

• 最佳化了Hive Jindo大量刪除的問題。

• 最佳化了HiveServer2 OOM問題。

• 最佳化了Hive on Spark。

• 適配JindoSDK。

Presto

• 升級Presto至社區358版本。

• 預設增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta連接器，並更新預設配置。

• 支援資料湖分析。

• 支援UDF動態載入功能。

• 適配JindoSDK。

Delta Lake

• 版本升級

  • 升級至1.1.0版本，相容Spark 3.2.0。

  • 所有商業版功能遷移至1.1.0版本。

• 中繼資料管理

  • 最佳化中繼資料修改同步到metastore的部分。

  • 自動上報表的統計資訊（dataProfiling）到metastore。

• SQL

  • 支援Time Travel文法。

  • 支援DropPartition SQL文法。

  • 支援SQL動態分區覆蓋寫。

  • 支援指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增強

  • 支援並預設開啟可以根據表大小動態調整檔案大小。

  • 支援並預設開啟自動Vacuum，支援並發Vacuum。

  • 最佳化了自動Compaction的邏輯，預設關閉。

  • 新增Zorder文法，並加速了Zorder的處理過程。

Hudi

• 升級至0.10.0版本。

• 支援Spark 3.2.0版本。

• 支援JindoFS Block模式。

HDFS

適配JindoSDK。

YARN

• 適配RSS記憶體配置。

• 適配JindoSDK。

Flume

適配JindoSDK。

Impala

適配JindoSDK。

Ranger

• 支援Spark 3.2.0版本。

• 支援Presto 358版本。

HBase

• 修複了預設參數存在的問題。

• 修複了GC日誌日期格式問題。

Clickhouse

• 新增HDFS和OSS磁碟類型， 支援資料冷熱分離，詳情請參見使用HDFS進行資料冷熱分離和使用OSS進行資料冷熱分離。

• 在Replicated*MergeTree情況下，支援的磁碟類型為OSS、HDFS和S3的Zero Copy。

• 最佳化了ClickHouse組件Stop時的處理邏輯。

Iceberg

• 升級至0.13.0版本。

• 支援Presto 358版本。

DLF-Auth

• 支援Spark 3.2.0版本。

• 支援Presto 358版本。