开源大数据平台E-MapReduce：EMR-3.39.x版本说明

版本

日期

EMR-3.39.2

2022年3月25日

EMR-3.39.1

2022年2月15日

服务

变更点

Flink

• 完善APM监控大盘，新增了部分监控指标。例如，sourceIdleTime。

• 支持云监控报警。

Kafka

• 支持SSL和SASL配置。

• 修改了部分参数的默认值。

Clickhouse

修改了部分参数的默认值。

服务

变更点

SmartData

组件下线。

BIGBOOT

RSS

• 升级ESS服务为RSS，文档详情请参见RSS。

• 增强了服务的功能和稳定性。

JindoSDK

• 升级架构为JindoData。

• EMR首次集成JindoSDK 4.0，支持OSS和OSS-HDFS服务等。

Spark

• 优化了Hive on Spark。

• 适配JindoSDK。

Tez

适配JindoSDK。

Hive

适配JindoSDK。

Presto

• 支持UDF动态加载功能。

• Delta Lake表支持for ... as of语法的Time Travel查询。

• 增加独立的Delta Lake Catalog，提供默认的Delta连接器配置，并支持基于独立Catalog的ZOrder Dataskip优化。

• 修复了Hudi连接器无法查询Hudi MOR表的问题，Hive连接器暂不支持查询Hudi MOR表。

• 适配JindoSDK。

Delta Lake

• 元数据管理

  • 使用Spark内置Catalog替代Hive CLI API同步元数据及分区信息。

  • 自动上报表的统计信息（dataProfiling）到MetaStore。

• SQL

  • 支持Time Travel语法。

  • 支持DropPartition SQL语法。

  • 支持指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增强

  • 支持并默认开启可以根据表大小动态调整filesize。

  • 支持并默认开启自动Vacuum，支持并发Vacuum。

  • 优化了自动Compaction的逻辑，默认关闭。

  • 新增Zorder语法，并加速了Zorder的处理过程。

Hudi

升级至0.10.0版本。

HDFS

适配JindoSDK。

YARN

适配JindoSDK。

Flume

适配JindoSDK。

Flink

• 默认将Flink的lib目录上传到HDFS集群，方便用户通过yarn.provided.lib.dirs参数使用。

• 适配JindoSDK。

Impala

适配JindoSDK。

Ranger

• 修复Spark History Server启动失败的问题。

• 适配JindoSDK。

HBase

• 修复了默认参数存在的问题。

• 修复了GC日志日期格式问题。

• 修复了RS使用IP时存在的重启问题。

Druid

适配JindoSDK。

Clickhouse

优化了ClickHouse组件Stop时的处理逻辑。

Iceberg

• 升级至0.13.0版本。

• 隐藏默认配置项，提升用户使用体验。

DLF-Auth

修复了Spark History Server启动失败的问题。

StarRocks

新版控制台新增服务。

2.0.1版本上线。