E-MapReduce：EMR-5.2.x版本說明

服務

變更點

SmartData

升級SmartData至3.6.1版本。版本詳情，請參見SmartData 3.6.x版本簡介。

Hive

• 修複使用DLF中繼資料執行show create table命令，結果顯示不正確的問題。

• 最佳化Hive預設參數，以提升作業效能。

• 修改E-MapReduce控制台上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便於使用者使用。

• 修複UDF（User Define Function）導致HiveServer2記憶體泄露的問題。

• 最佳化檔案系統與MetaStore不一致時寫Hive表的報錯資訊。

HDFS

支援ZSTD（Zstandard）壓縮格式。

Delta Lake

• 升級Delta Lake至0.8.0版本。

• 支援Spark 3。

Flink

升級Flink至1.12-vvr-3.0.2版本。

Hudi

• 升級Hudi至0.8.0版本。

• 支援和Spark SQL整合。

Spark

• 支援資料湖格式Delta Lake和Hudi。

• 支援Remote Shuffle Service。

• 支援Livy 。

• 最佳化E-MapReduce控制台上，Spark服務配置頁面的spark-defaults頁簽的配置項名稱。

• 最佳化CBO（Cost-Based Optimization）、DPP（DynamicPartitionPruning）以及Z-Order等功能，效能比開源Spark 3版本提升50%。

• 支援阿里雲Log Service、DataHub和訊息佇列RocketMQ版（簡稱ONS）等資料來源。

Tez

最佳化Tez預設參數，以提升作業效能。

Ranger

• 修複Ranger啟用Spark日誌中的Warning報錯。

• 修複對接LDAP後，自動同步處理的使用者失敗的問題。

Knox

• 適配Kudu組件。

• 適配Hbase組件。

Kafka

• 支援Cruise Control組件，提供Kafka叢集Balance功能。

• Kafka上線熱換盤功能，在不啟停Broker前提下，可以更換壞盤。

• 修改部分參數的預設值。

Phoenix

修複Hive和Spark SQL訪問Phoenix表時，報未找到JDBC Driver的問題。

ESS（EMR Remote Shuffle Service）

支援Spark 3。