开源大数据平台E-MapReduce：EMR-3.38.x版本说明

版本

日期

EMR-3.38.3

2021年12月

EMR-3.38.2

2021年12月

EMR-3.38.1

2021年11月

EMR-3.38.0

2021年10月

服务

变更点

Presto

• 修复了高可用集群Presto查询Hudi表报错的问题。

• 修复了Elasticsearch连接器的Log4j漏洞。

DLF Metastore

• 将Metastore log默认开启改为关闭。

• 修复了Metastore gettablestats URI超长出错的问题。

Delta Lake

修复了变更Schema同步到Metastore的问题。

Flink

• 升级VVR到4.0.11版本，该版本支持了如下功能：

  • 发布Flink CDC商业功能：

    • 支持Schema Evolution。

    • 支持整库同步的Flink SQL语义。

  • 支持Gemini Statebackend将State存储到OSS上。

• 提供了企业版Hudi Connector，内置DLF作为元数据管理。

Sqoop

修复了Sqoop导入HCatalog表时，Decimal类型精度丢失的问题。

服务

变更点

SmartData

• 升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。

• 支持OSS基于Kerberos和Ranger的认证和授权管理。

服务

变更点

SmartData

升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。

Spark

• 移除了无效配置Log4j MetricsAppender。

• 修复了SparkContext启动过程中空指针异常的问题。

Presto

• 修复了Hadoop高可用集群，Presto需要配置host才能查询Hive表的问题。

• 修复了内存较小时，默认配置下Presto无法启动的问题。

• 修复了修改worker-jvm配置无法生效的问题。

• 支持Ranger。

Impala

修复了查询DLF元数据表时，提示no such method error的问题。

Ranger

• 支持Presto。

• 修复了Ranger Spark insert ORC和PARQUET表的权限问题。

• 修复了Ranger Hive role权限在开启Kerberos后无法生效的问题。

DLF-Auth

• 升级DLF-Auth至1.0.1版本。

• 支持DLF权限，可以控制Presto权限。

• 修复了RAM用户缓存的问题。

服务

变更点

SmartData

升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。

Spark

• 升级Spark至2.4.8版本。

• 同时支持Spark 2.4.8和Spark 3.1.2。

  说明

  Spark3暂不支持Delta和Remote Shuffle Service。

• Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。

• 修复了AQE在Stats缺失情况下数组越界的问题。

• 修复了AQE和Cache在特定场景下报错的问题。

Hive

升级Hive至2.3.9版本。

Presto

• 发布成独立的Presto集群。

• 升级Presto至社区358版本。

  重要

  此版本暂不支持Ranger。

• 默认支持Hudi和MySQL等连接器，并更新了默认配置。

• Presto集群支持弹性伸缩。

• 支持数据湖分析。

DeltaLake

• 统一Hive 2和Hive 3的delta-connectors。

• 修复了delta-connectors查询多级分区表时的报错问题。

Hudi

• 升级Hudi至0.9.0版本。

• 修复了DeltaLake和Hudi的sql.extension的兼容性问题。

HDFS

NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。

Flink

• 升级Flink至1.13-vvr-4.0.10版本，对应社区Flink 1.13.1。

• 添加了商业化的Flink Connector。例如，Hologres。

• 添加了相应的Metric Reporter，对接了APM大盘的监控。

• 针对Kafka Connector，添加了基于SchemaRegistry的Kafka Catalog，支持直接读写已存在的Kafka Topic，无需DDL。

Storm

组件下线。

Zeppelin

升级Zeppelin至社区0.10.0版本。

Ranger

当Presto为社区358版本时，该版本Ranger暂不支持Presto权限控制。

Hue

• 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。

• 默认配置中放开YARN Job Browser。

• 默认配置中支持Presto协议。

Druid

修复了服务器掉电时Pid文件残留，导致节点重启失败的问题。

ClickHouse

• 更新了默认配置。

• 支持集群扩容。

• 支持MetaChecker功能。

• 支持OSS表引擎和OSS表函数读数据。

• 支持表级别自定义ZooKeeper地址。

Iceberg

新增组件。版本为0.12.0-1.0.1。

Knox

修复了Spark Task第一次访问时失败的问题。

DLF-Auth

新增组件。

支持DLF权限，可以控制Hive和Spark权限。版本为1.0.0。

ESS

升级ESS至1.2.0版本。