本文由簡體中文內容自動轉碼而成。阿里雲不保證此自動轉碼的準確性、完整性及時效性。本文内容請以簡體中文版本為準。
首頁E-MapReduceEMR on ECS操作指南組件操作HiveEMR Hive功能增強
搜尋幫助內容

EMR Hive功能增強

更新時間：2024-06-30 19:47
產品
社區

本文為您介紹E-MapReduce（簡稱EMR）各版本對應的Hive組件版本，以及各版本中Hive相對開源增強功能。

Hive針對開源功能增強功能如下表。

EMR-5.x系列
EMR-3.x系列
EMR-4.x系列

EMR版本

組件版本

功能增強

EMR-5.12.1

Hive 3.1.3

Hive warehouse支援預設使用OSS-HDFS儲存。

EMR-5.9.0

Hive 3.1.3

支援開啟Kerberos身份認證。

EMR-5.8.0

Hive 3.1.2

支援一鍵對接LDAP。

EMR-5.6.0

Hive 3.1.2

修複了TEZ開啟Speculation後重複Commit的缺陷。

EMR-5.5.0

Hive 3.1.2

  • 最佳化了Hive Jindo大量刪除的問題。

  • 最佳化了HiveServer2 OOM問題。

  • 最佳化了Hive on Spark。

  • 適配JindoSDK。

EMR-5.4.0

Hive 3.1.2

Hive on JindoFS（Block）支援批量中繼資料最佳化功能，預設未開啟。

EMR-5.3.0

Hive 3.1.2

Hive on JindoFS（Block模式）支援批量中繼資料最佳化功能。

EMR-5.2.1

Hive 3.1.2

  • 修複使用DLF中繼資料執行show create table命令，結果顯示不正確的問題。

  • 最佳化Hive預設參數，以提升作業效能。

  • 修改E-MapReduce控制台上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便於使用者使用。

  • 修複UDF（User Define Function）導致HiveServer2記憶體泄露的問題。

  • 最佳化檔案系統與MetaStore不一致時寫Hive表的報錯資訊。

EMR版本

組件版本

功能增強

EMR-3.46.1

Hive 2.3.9

Hive warehouse支援預設使用OSS-HDFS儲存。

EMR-3.40.0

Hive 2.3.8

  • 修複了TEZ開啟Speculation後重複Commit的缺陷。

  • 修複了必須Reload Function才能調用UDF的缺陷。

EMR-3.39.1

Hive 2.3.8

適配JindoSDK。

EMR-3.36.1

Hive 2.3.8

  • 升級Hive至2.3.8版本。

  • 修複使用DLF（DataLakeFormation）中繼資料執行show create table命令時，結果顯示不正確的問題。

  • 最佳化Hive預設參數，以提升作業效能。

  • 修改E-MapReduce控制台上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便於使用者使用。

  • 最佳化檔案系統與MetaStore不一致時寫Hive表的報錯資訊。

EMR-3.35.0

Hive 2.3.7

修複Fetch Task相關的社區問題。

EMR-3.34.0

Hive 2.3.7

  • 最佳化了部分預設配置。
  • 效能最佳化：增強CBO。
  • 支援一鍵開啟或關閉LDAP功能。
  • 升級Calcite版本至1.12.0。
  • 增加參數hive.security.authorization.sqlstd.confwhitelist.append。

EMR-3.33.0

Hive 2.3.7

  • 升級至2.3.7版本。
  • HCatalog支援Data Lake Formation。
  • 支援Hive中繼資料和作業運行資訊輸出至DataWorks。

EMR-3.32.0

Hive 2.3.5

  • 修複了HiveServer串連池泄漏的問題。
  • JindoTable支援開啟或關閉資料擷取功能。
  • 最佳化ADD COLUMN的效能。
  • 修複了讀取HUDI表時資料不正確的問題。
  • 預設的參數配置，可以根據叢集節點大小調整。

EMR-3.30.0

Hive 2.3.5

  • 支援阿里雲DLF（Data Lake Formation）中繼資料。
  • 解決了讀Delta表空目錄時寫DUMMY檔案問題。
  • 升級HAS依賴至2.0.1。

EMR-3.29.0

Hive 2.3.5

  • Hive升級至2.3.5.6.0。
  • 支援第三方Metastore的功能。
  • 增加datalake metastore-client。

EMR-3.28.0

Hive 2.3.5

支援Delta 0.6.0版本。

EMR-3.27.2

Hive 2.3.5

  • hcatalog表支援magic committer。
  • 移除一些過時的預設配置。

EMR-3.26.3

Hive 2.3.5

hcatalog表支援direct committer。

EMR-3.25.0

Hive 2.3.5

修複自動LOCAL模式下MR任務執行失敗的問題

EMR-3.24.0

Hive 2.3.5

  • 增加SQL相容性檢查功能邏輯。
  • Hive2.3.5+Hadoop2.8.5組合發布。
  • 重啟組件時不同步hiveserver2-site.xml中的內容至spark-conf下的hive-site.xml。
  • 支援使用MSCK命令添加增量目錄。
  • 修複Hive複用tez container時出現的bug。
  • 支援使用MSCK命令最佳化列目錄。

EMR-3.23.0

Hive 2.3.5

  • 刪除老版本的hive hook。

  • 添加支援多個count distinct欄位的資料扭曲處理最佳化。

  • 解決join不同bucketversion的表時丟資料的問題。

EMR-3.23.0之前版本

Hive 2.x

外部統一資料庫儲存至Hive Meta，所有使用外部Hive Meta的叢集共用同一份Meta資訊。

EMR版本

組件版本

功能增強

EMR-4.10.0

Hive 3.1.2

  • 修複了Hue查詢記錄時，中文亂碼的問題。

  • 修複了Hue與Oozie整合使用時介面顯示的問題。

  • 修複YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

  • 預設配置中放開YARN Job Browser。

  • 預設配置中支援Presto協議。

EMR-4.8.0

Hive 3.1.2

  • 最佳化了部分預設配置。

  • 效能最佳化：增強CBO。

  • 支援一鍵開啟或關閉LDAP功能。

EMR-4.6.0

Hive 3.1.2

  • HCatalog支援Data Lake Formation。

  • 支援Hive中繼資料和作業運行資訊輸出至DataWorks。

EMR-4.5.0

Hive 3.1.2

  • 支援資料湖構建（DLF）中繼資料。

  • 支援Ranger Ownership許可權。

EMR-4.4.1

Hive 3.1.2

最佳化預設的參數配置。

EMR-4.4.0

Hive 3.1.2

  • 升級至3.1.2版本。
  • 最佳化JindoFS。
  • 最佳化MSCK。
  • HCatalog支援JindoCommitter。
  • 升級HAS依賴。

EMR-4.3.0

Hive 3.1.1

支援自訂部署。

上一篇：Hive下一篇：基礎使用
    文檔反饋