E-MapReduce：Iceberg資料來源

前提條件

• 已建立包含Iceberg服務的叢集，例如DataLake或Custom叢集，詳情請參見建立叢集。

• 已建立包含StarRocks服務的叢集，例如OLAP或Custom叢集，並成功串連到叢集，詳情請參見建立叢集和快速入門。

使用限制

• 建立的兩個叢集需要在同一個VPC下，並且在同一個可用性區域下。

• StarRocks當前支援查詢Versions 1表（Analytic Data Tables），暫不支援查詢Versions 2表（Row-level Deletes）。兩種表的詳細資料請參見Iceberg Table Spec。

建立Iceberg Catalog

文法​

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

參數說明

• catalog_name：Iceberg Catalog的名稱，必選參數。命名要求如下：

  • 必須由字母（a~z或A~Z）、數字（0~9）或底線（_）組成，並且只能以字母開頭。

  • 總長度不能超過64個字元。

• PROPERTIES：Iceberg Catalog的屬性，必選參數。Iceberg使用的中繼資料服務不同，該參數的配置也不同。Iceberg Catalog的作用是儲存Iceberg表和其儲存路徑的映射關係。不同中繼資料服務的配置方法如下：

  屬性	是否必選	說明
  type	是	資料來源類型，取值為iceberg。
  iceberg.catalog.type	是	Iceberg中Catalog的類型。使用Hive MetaStore則設定該參數為HIVE。
  hive.metastore.uris	否	Hive MetaStore的URI。格式為thrift://<Hive MetaStore的IP地址>:<連接埠號碼>，連接埠號碼預設為9083。當使用DLF的中繼資料時，該配置可省略。

樣本

以下樣本建立了一個名為iceberg_catalog的Iceberg Catalog。

CREATE EXTERNAL CATALOG iceberg_catalog
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "HIVE",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

查看Iceberg表資料

您可以通過SELECT查詢目標資料庫中的目標表。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

相關文檔

Iceberg更多介紹，請參見Iceberg概述。