全部產品
Search
文件中心

E-MapReduce:使用DLF中繼資料

更新時間:Jul 01, 2024

E-MapReduce(簡稱EMR)的EMR-5.8.0及之後版本的叢集(對應StarRocks 2.3及之後的版本)支援查詢中繼資料類型為DLF的外表。本文通過樣本為您介紹如何訪問DLF的外部表格。

前提條件

已建立EMR-5.8.0及之後版本的資料分析(OLAP)或自訂情境(Custom)的叢集,且選擇了StarRocks服務,詳情請參見建立叢集

注意事項

本文僅適用於Hive、Hudi、Iceberg和Delta Lake資料來源。

操作步驟

  1. 使用SSH方式登入StarRocks叢集,詳情請參見登入叢集

  2. 執行以下命令,串連StarRocks叢集。

    mysql -h127.0.0.1 -P 9030 -uroot
  3. 執行以下命令,建立External Catalog。

    本文以Hive資料來源為例。

    CREATE EXTERNAL CATALOG hive_catalog
    properties
    (
        "type" = "hive",
        "hive.metastore.type" = "DLF"
    );

    參數

    是否必選

    說明

    type

    資料來源的類型。支援的資料來源類型有hive、hudi、iceberg、deltalake。

    dlf.catalog.id

    待讀取的DLF Catalog ID。如果不添加該配置,則使用預設DLF Catalog。

    hive.metastore.type

    配置MetaStore類型。固定值為DLF。

  4. 查詢資料。

    • 通過SHOW DATABASES查看指定Catalog下的資料庫。

      SHOW DATABASES FROM hive_catalog;
    • 指定當前會話生效的資料庫

      USE hive_catalog.default;
    • 通過SELECT查詢目標表。

      SELECT * FROM <table_name>;

相關文檔

如果使用Hive MetaStore,請參見Hive資料來源Iceberg資料來源Hudi資料來源Delta Lake資料來源