E-MapReduce：EMR-3.39.x版本說明

版本

日期

EMR-3.39.2

2022年3月25日

EMR-3.39.1

2022年2月15日

服務

變更點

Flink

• 完善APM監控大盤，新增了部分監控指標。例如，sourceIdleTime。

• 支援CloudMonitor警示。

Kafka

• 支援SSL和SASL配置。

• 修改了部分參數的預設值。

Clickhouse

修改了部分參數的預設值。

服務

變更點

SmartData

組件下線。

BIGBOOT

RSS

• 升級ESS服務為RSS，文檔詳情請參見RSS。

• 增強了服務的功能和穩定性。

JindoSDK

• 升級架構為JindoData。

• EMR首次整合JindoSDK 4.0，支援OSS和OSS-HDFS服務等。

Spark

• 最佳化了Hive on Spark。

• 適配JindoSDK。

Tez

適配JindoSDK。

Hive

適配JindoSDK。

Presto

• 支援UDF動態載入功能。

• Delta Lake表支援for ... as of文法的Time Travel查詢。

• 增加獨立的Delta Lake Catalog，提供預設的Delta連接器配置，並支援基於獨立Catalog的ZOrder Dataskip最佳化。

• 修複了Hudi連接器無法查詢Hudi MOR表的問題，Hive連接器暫不支援查詢Hudi MOR表。

• 適配JindoSDK。

Delta Lake

• 中繼資料管理

  • 使用Spark內建Catalog替代Hive CLI API同步中繼資料及分區資訊。

  • 自動上報表的統計資訊（dataProfiling）到MetaStore。

• SQL

  • 支援Time Travel文法。

  • 支援DropPartition SQL文法。

  • 支援指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增強

  • 支援並預設開啟可以根據表大小動態調整filesize。

  • 支援並預設開啟自動Vacuum，支援並發Vacuum。

  • 最佳化了自動Compaction的邏輯，預設關閉。

  • 新增Zorder文法，並加速了Zorder的處理過程。

Hudi

升級至0.10.0版本。

HDFS

適配JindoSDK。

YARN

適配JindoSDK。

Flume

適配JindoSDK。

Flink

• 預設將Flink的lib目錄上傳到HDFS叢集，方便使用者通過yarn.provided.lib.dirs參數使用。

• 適配JindoSDK。

Impala

適配JindoSDK。

Ranger

• 修複Spark History Server啟動失敗的問題。

• 適配JindoSDK。

HBase

• 修複了預設參數存在的問題。

• 修複了GC日誌日期格式問題。

• 修複了RS使用IP時存在的重啟問題。

Druid

適配JindoSDK。

Clickhouse

最佳化了ClickHouse組件Stop時的處理邏輯。

Iceberg

• 升級至0.13.0版本。

• 隱藏預設配置項，提升使用者使用體驗。

DLF-Auth

修複了Spark History Server啟動失敗的問題。

StarRocks

新版控制台新增服務。

2.0.1版本上線。