开源大数据平台E-MapReduce：EMR-4.8.x版本说明

服务

变更点

SmartData

升级至3.4.0版本。

版本详情，请参见SmartData 3.4.x版本简介。

Spark

• 优化了部分默认配置。

• 性能优化：支持Window TopK下推。

• 增强Hive读写CSV或JSON表的兼容性。

• ANALYZE语句支持省略全表列名。

• 支持一键开启或关闭LDAP功能。

• 改进Spark Beeline工具的易用性。

Hive

• 优化了部分默认配置。

• 性能优化：增强CBO。

• 支持一键开启或关闭LDAP功能。

YARN

修复了Hadoop未授权访问Web UI时的高危风险问题。即通过SSH Tunnel方式访问YARN Web UI时，需要在URL里显式指定user.name=name的问题。

Tez

优化了默认配置。

Ranger

• 修复Spark中Filter函数的下推问题。

• 修复Ranger Disable Presto后，Presto无法启动的问题。

• 支持一键开启或关闭LDAP功能。

Hue

支持一键开启或关闭LDAP功能。

Impala

• 升级Impala至3.4.0版本。

• 升级Shiro至1.7.0版本。

• 支持DLF元数据。

• 支持查询Delta格式的数据。

• 支持一键开启或关闭LDAP功能。

• 修复数据存储在OSS时，使用INSERT OVERWRITE命令的问题。

Hudi

• 支持SQL on Hudi功能。

• 修复了查询部分数据时准确性的问题。

• 在Spark查询Hudi的Copy On Write表时，支持分区裁剪。

• 支持分桶索引机制，提高写入性能。

Delta Lake

• 修复基于已存在Delta表无法同步元数据至Hive MetaStore的问题。

• 修复Merge命令无法解析*的问题。

• 修复基于Parquet格式的数据转换成Delta表，且创建表元数据时报错的问题。

• 修复当没有待compact的文件时，执行Optimize命令异常的问题。

• 支持Merge语法使用子查询作为Source命令。

• 使用Presto查询Delta表时，引入缓存机制，以提升查询效率。

• 支持Impala查询Delta表。

ESS

• 修复在Shuffle read阶段，出现closed channel异常、IndexOutOfBounds异常或堆外内存使用过多的问题。

• 修复开启Metrics之后，出现NPE异常的问题。

HAS

修复在HAS install流程产生了错误后admin.keytab无法重新init问题

Presto

支持一键开启或关闭LDAP功能。

HBase

• 升级至2.2.6版本。

• 不再支持Ranger的权限控制。

Sqoop

支持导入Parquet格式的文件至OSS。

Superset

• 修复admin用户无法登录Web UI的问题。

• 数据集兼容Druid集群模式。

• 不再支持SparkSQL数据集。

Knox

• 支持通过Knox访问Presto。

• 修复无法访问Druid Web UI的问题。

• 取消HTTP仅限制使用高安全Knox访问Ranger UI的限制。