开源大数据平台E-MapReduce：EMR-5.5.x版本说明

版本

日期

EMR-5.5.1

2022年3月25日

EMR-5.5.0

2022年2月15日

服务

变更点

Clickhouse

修改了部分参数的默认值。

StarRocks

升级至2.1.1版本。

服务

变更点

SmartData

组件下线。

BIGBOOT

RSS

• 升级ESS服务为RSS。

• 增强了服务的功能和稳定性。

JindoSDK

• 升级架构为JindoData。

• EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服务等。

Spark

• COUNT DISTINCT函数支持IF语句以及优化Case when的用法。

  设置参数spark.sql.optimizer.rewriteConditionalDistinctAggregates为true。

• Shuffle Hash Join支持fallback到Sort Merge Join。

  设置参数spark.sql.join.preferSortMergeJoin为false，设置参数spark.sql.join.enableShuffledHashJoinFallback为true。

• 支持非动态分区自动合并小文件。

  设置spark.sql.adaptive.merge.output.small.files.enabled参数为true。

• GroupingSet以及Distinct等场景会自动调整并发度。

  设置参数spark.sql.execution.optimizeExpand为true。

• 优化了Hive on Spark。

• 支持Time Travel语法。

• 适配JindoSDK。

Tez

适配JindoSDK。

Hive

• 优化了Hive Jindo批量删除的问题。

• 优化了HiveServer2 OOM问题。

• 优化了Hive on Spark。

• 适配JindoSDK。

Presto

• 升级Presto至社区358版本。

• 默认增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta连接器，并更新默认配置。

• 支持数据湖分析。

• 支持UDF动态加载功能。

• 适配JindoSDK。

Delta Lake

• 版本升级

  • 升级至1.1.0版本，兼容Spark 3.2.0。

  • 所有商业版功能迁移至1.1.0版本。

• 元数据管理

  • 优化元数据修改同步到metastore的部分。

  • 自动上报表的统计信息（dataProfiling）到metastore。

• SQL

  • 支持Time Travel语法。

  • 支持DropPartition SQL语法。

  • 支持SQL动态分区覆盖写。

  • 支持指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增强

  • 支持并默认开启可以根据表大小动态调整文件大小。

  • 支持并默认开启自动Vacuum，支持并发Vacuum。

  • 优化了自动Compaction的逻辑，默认关闭。

  • 新增Zorder语法，并加速了Zorder的处理过程。

Hudi

• 升级至0.10.0版本。

• 支持Spark 3.2.0版本。

• 支持JindoFS Block模式。

HDFS

适配JindoSDK。

YARN

• 适配RSS内存配置。

• 适配JindoSDK。

Flume

适配JindoSDK。

Impala

适配JindoSDK。

Ranger

• 支持Spark 3.2.0版本。

• 支持Presto 358版本。

HBase

• 修复了默认参数存在的问题。

• 修复了GC日志日期格式问题。

Clickhouse

• 新增HDFS和OSS磁盘类型， 支持数据冷热分离，详情请参见使用HDFS进行数据冷热分离和使用OSS进行数据冷热分离。

• 在Replicated*MergeTree情况下，支持的磁盘类型为OSS、HDFS和S3的Zero Copy。

• 优化了ClickHouse组件Stop时的处理逻辑。

Iceberg

• 升级至0.13.0版本。

• 支持Presto 358版本。

DLF-Auth

• 支持Spark 3.2.0版本。

• 支持Presto 358版本。