全部產品
Search
文件中心

E-MapReduce:DLF統一中繼資料

更新時間:Jul 01, 2024

本文為您簡單介紹阿里雲資料湖構建,以及如何切換E-MapReduce(簡稱EMR)的中繼資料存放區類型。

背景資訊

阿里雲資料湖構建是一款全託管的快速協助使用者構建雲上資料湖的服務,產品為雲原生資料湖提供了統一的中繼資料管理、統一的許可權與安全管理、便捷的資料入湖能力以及一鍵式資料探索能力,詳細資料請參見資料湖構建產品簡介

您可以快速完成雲原生資料湖方案的構建與管理,並可無縫對接多種計算引擎,打破資料孤島,洞察業務價值。

前提條件

已在資料湖構建(Data Lake Formation)控制台開通資料湖構建。

使用限制

  • DLF統一中繼資料適配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。
  • 僅EMR-3.30.0及之後版本和EMR-4.5.0及之後版本,支援選擇DLF統一中繼資料作為Hive資料庫。

切換中繼資料存放區類型

  1. 進入Hive服務頁面。

    1. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    2. 叢集管理頁面,單擊目的地組群所在行的叢集服務
    3. 單擊Hive服務地區的配置
  2. 在配置搜尋中,輸入配置項hive.imetastoreclient.factory.class,單擊search表徵圖。
    • 切換為MySQL(包括叢集內建MySQL、統一meta資料庫和自建RDS):

      設定hive.imetastoreclient.factory.class的值為org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory

    • 切換為DLF統一中繼資料:

      設定hive.imetastoreclient.factory.class的值為com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory

  3. 儲存配置。
    1. 在Hive服務頁面的服務配置地區,單擊儲存
    2. 儲存對話方塊中,輸入執行原因,單擊儲存
  4. 重啟Hive服務。
    1. 在Hive服務頁面,選擇右上方的更多操作 > 重啟
    2. 在彈出的對話方塊中,填寫執行原因,單擊確定
    3. 確認對話方塊中,單擊確定
      您可以單擊上方的操作歷史,查看任務進度,等待任務完成。