：Iceberg連接器

前提條件

已建立DataLake叢集、Custom叢集或Hadoop叢集，並選擇了Trino服務，詳情請參見建立叢集。

使用限制

DataLake叢集和EMR-3.38.0及後續版本的Hadoop叢集，支援配置Iceberg連接器。

配置Iceberg連接器

修改Iceberg連接器配置，詳情請參見配置連接器。

連接器預設配置

您可以進入EMR控制台的Trino服務的配置頁面，在服務配置地區，單擊iceberg.properties頁簽。您可以看到參數hive.metastore.uri，該參數表示Hive Metastore使用Thrift協議串連的URI。參數值請根據您實際情況修改。

Iceberg配置列表

您可以進入EMR控制台的Trino服務的配置頁面，在服務配置地區，單擊iceberg.properties頁簽，然後單擊新增配置項，新增以下配置項。

樣本：查詢Iceberg表資料

使用Trino的基本文法即可查詢Iceberg表。

1. 通過SSH方式串連叢集，詳情請參見登入叢集。

2. 串連Trino用戶端，詳情請參見通過命令列方式串連Trino。

3. 執行以下命令，建立Schema。

   create schema iceberg.testdb;

4. 執行以下命令，建立表iceberg_test。

   create table iceberg.testdb.iceberg_test(id int);

5. 執行以下命令，向表iceberg_test中插入資料。

   insert into iceberg.testdb.iceberg_test values(1),(2);

   說明

   當叢集配置為使用DLF作為統一中繼資料管理服務時，不支援向Iceberg表執行寫操作。

6. 執行以下命令，查詢表資料。

   select * from iceberg.testdb.iceberg_test;

   返回如下資訊。

    id
   ----
    1
    2

SQL文法

Iceberg連接器支援讀寫Iceberg表資料和元資訊，除了支援基礎的SQL文法，還支援下表文法。

分區表

Iceberg可以基於如下函數對錶進行分區。

例如，customer_orders表按order_date的月份值、account_number的雜湊值 （桶數量為10）和country進行分區。

CREATE TABLE iceberg.testdb.customer_orders (
    order_id BIGINT,
    order_date DATE,
    account_number BIGINT,
    customer VARCHAR,
    country VARCHAR)
WITH (partitioning = ARRAY['month(order_date)', 'bucket(account_number, 10)', 'country'])

按分區刪除

對於分區表，如果WHERE子句對整個分區進行過濾，則Iceberg連接器支援刪除整個分區。例如，下面代碼將刪除country=US的所有分區。

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US'

目前，Iceberg連接器僅支援按分區刪除。例如，下面代碼選擇分區中的一些行進行刪除，運行則會報錯。

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US' AND customer = 'Freds Foods'

復原

Iceberg支援資料的Snapshot模型，其中錶快照由Snapshot ID標識。

Iceberg連接器為每個Iceberg表提供了一個系統快照表，快照由BIGINT類型的Snapshot ID標識，您可以通過運行以下命令查看customer_orders表的最新Snapshot ID。

SELECT snapshot_id FROM iceberg.testdb."customer_orders$snapshots" ORDER BY committed_at DESC LIMIT 1

使用system.rollback_to_snapshot可以將表的狀態復原到之前的快照ID。

CALL iceberg.system.rollback_to_snapshot('testdb', 'customer_orders', 895459706749342****)

系統資料表和列

Iceberg連接器支援查詢系統資料表分區。例如，Iceberg表customer_orders，執行以下語句可以顯示錶分區，包括每個分區列的最大值和最小值。

SELECT * FROM iceberg.testdb."customer_orders$partitions"

Iceberg表屬性

下表列出了Iceberg表的屬性。

例如，下表定義了PARQUET格式的檔案，由c1和c2列分區，檔案系統地址為/var/my_tables/test_table。

CREATE TABLE test_table (
    c1 integer,
    c2 date,
    c3 double)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['c1', 'c2'],
    location = '/var/my_tables/test_table')

物化視圖

Iceberg連接器支援物化視圖，每個物化視圖包含一個視圖定義和Iceberg表，表名稱儲存在物化視圖屬性，資料存放區在Iceberg表裡。

物化視圖支援操作如下表。

WITH ( format = 'ORC', partitioning = ARRAY['event_date'] )