E-MapReduce：EMR-4.8.x版本說明

服務

變更點

SmartData

升級至3.4.0版本。

版本詳情，請參見SmartData 3.4.x版本簡介。

Spark

• 最佳化了部分預設配置。

• 效能最佳化：支援Window TopK下推。

• 增強Hive讀寫CSV或JSON表的相容性。

• ANALYZE語句支援省略全表列名。

• 支援一鍵開啟或關閉LDAP功能。

• 改進Spark Beeline工具的易用性。

Hive

• 最佳化了部分預設配置。

• 效能最佳化：增強CBO。

• 支援一鍵開啟或關閉LDAP功能。

YARN

修複了Hadoop未授權訪問Web UI時的高危風險問題。即通過SSH Tunnel方式訪問YARN Web UI時，需要在URL裡顯式指定user.name=name的問題。

Tez

最佳化了預設配置。

Ranger

• 修複Spark中Filter函數的下推問題。

• 修複Ranger Disable Presto後，Presto無法啟動的問題。

• 支援一鍵開啟或關閉LDAP功能。

Hue

支援一鍵開啟或關閉LDAP功能。

Impala

• 升級Impala至3.4.0版本。

• 升級Shiro至1.7.0版本。

• 支援DLF中繼資料。

• 支援查詢Delta格式的資料。

• 支援一鍵開啟或關閉LDAP功能。

• 修複資料存放區在OSS時，使用INSERT OVERWRITE命令的問題。

Hudi

• 支援SQL on Hudi功能。

• 修複了查詢部分資料時準確性的問題。

• 在Spark查詢Hudi的Copy On Write表時，支援分區裁剪。

• 支援分桶索引機制，提高寫入效能。

Delta Lake

• 修複基於已存在Delta表無法同步中繼資料至Hive MetaStore的問題。

• 修複Merge命令無法解析*的問題。

• 修複基於Parquet格式的資料轉換成Delta表，且建立表中繼資料時報錯的問題。

• 修複當沒有待compact的檔案時，執行Optimize命令異常的問題。

• 支援Merge文法使用子查詢作為Source命令。

• 使用Presto查詢Delta表時，引入緩衝機制，以提升查詢效率。

• 支援Impala查詢Delta表。

ESS

• 修複在Shuffle read階段，出現closed channel異常、IndexOutOfBounds異常或堆外記憶體使用量過多的問題。

• 修複開啟Metrics之後，出現NPE異常的問題。

HAS

修複在HAS install流程產生了錯誤後admin.keytab無法重新init問題

Presto

支援一鍵開啟或關閉LDAP功能。

HBase

• 升級至2.2.6版本。

• 不再支援Ranger的許可權控制。

Sqoop

支援匯入Parquet格式的檔案至OSS。

Superset

• 修複admin使用者無法登入Web UI的問題。

• 資料集相容Druid叢集模式。

• 不再支援SparkSQL資料集。

Knox

• 支援通過Knox訪問Presto。

• 修複無法訪問Druid Web UI的問題。

• 取消HTTP僅限制使用高安全Knox訪問Ranger UI的限制。