：Delta連接器

前提條件

已建立DataLake叢集、Custom叢集，並選擇了Trino服務，或者建立Hadoop叢集，並選擇了Presto服務，詳情請參見建立叢集。

使用限制

DataLake叢集、Custom叢集，和EMR-3.39.1及後續版本、EMR-5.5.0及後續版本的Hadoop叢集，支援配置Delta連接器。

基礎使用

修改Delta連接器配置

修改Delta連接器配置，詳情請參見修改內建連接器。

連接器預設配置

樣本

Trino無法建立或修改Delta Lake表，可以使用Spark-sql來建立，詳情請參見基礎使用。

1. 產生資料。

   1. 執行以下命令，進入Spark-sql命令列。

      spark-sql

   2. 執行以下命令，建立Delta表。

      CREATE TABLE delta_table (id INT) USING delta;

   3. 執行以下命令，寫入資料。

      INSERT INTO delta_table VALUES 0,1,2,3,4;

2. 查詢資料。

   1. 進入Trino命令列，詳情請參見通過命令方式訪問Trino。

   2. 執行以下命令，查詢表資訊。

      SELECT * FROM delta_table;

      返回資訊如下。

       id
      ----
        0
        1
        2
        3
        4
      (5 rows)

高階使用

Time Travel

Time Travel允許查詢錶的歷史資料。

樣本如下：

1. 執行以下命令，進入Spark-sql命令列。

   spark-sql

2. 執行以下命令，覆蓋資料。

   INSERT OVERWRITE TABLE delta_table VALUES 5,6,7,8,9;

3. 查詢資料。

   1. 進入Trino命令列，詳情請參見通過命令方式訪問Trino。

   2. 執行以下命令，查詢表資訊。

      SELECT * FROM delta_table;

      返回資訊如下。

       id
      ----
        5
        6
        7
        8
        9
      (5 rows)

4. 使用Time Travel查詢歷史資料。

   執行以下命令，按版本號碼查詢資料，直接填寫版本號碼即可。 版本號碼是一個單調遞增的整數。預設第一次INSERT之後版本號碼為1，之後每修改一次版本號碼加1。

   SELECT * FROM delta_table FOR VERSION AS OF 1;

   返回資訊如下。

    id
   ----
     2
     1
     3
     4
     0
   (5 rows)

   按時間戳記查詢資料，共支援DATE、TIMESTAMP和TIMESTAMP WITH TIME ZONE三種類型的時間戳記。

   • DATE類型：查詢日期所對應的UTC時間00:00:00的資料。

   • TIMESTAMP類型：查詢指定時間戳記對應的UTC的資料。

     例如，使用TIMESTAMP類型查詢北京時間（+08:00）2022年2月15日20點整的資料，則代碼如下。

     SELECT * FROM delta_table FOR TIMESTAMP AS OF TIMESTAMP '2022-02-15 12:00:00';

     說明

     其中，第一個TIMESTAMP說明使用的是時間戳記進行Time Travel查詢（非版本號碼），第二個TIMESTAMP則說明時間戳記是TIMESTAMP類型（非DATE類型）。

     返回資訊如下。

      id
     ----
       2
       0
       3
       4
       1
     (5 rows)

   • TIMESTAMP WITH TIME ZONE類型：無法直接讀取資料，需要進行格式轉換。

     例如，查詢北京時間（+08:00）2022年2月15日20點的資料。程式碼範例如下。

     SELECT * FROM delta_table FOR TIMESTAMP AS OF CAST('2022-02-15 20:00:00 +0800' AS TIMESTAMP WITH TIME ZONE);

Z-Order

Trino基於Z-Order最佳化了Delta表查詢。目前支援Parquet自身的最佳化和Data Skipping的最佳化。執行最佳化後，Delta會按檔案粒度統計各個欄位的最大和最小值，該統計資訊用於直接過濾資料檔案。Trino的Delta連接器可以讀取到這些統計資訊。

對於使用OPTIMIZE和ZORDER BY命令最佳化過的Delta表，在Z-Order列設定合適時，Trino的查詢速度最大能夠提升數十倍。

Trino支援Z-order的資料類型有Int、Long、Double、Float、Binary、Boolean、String和Array。

例如，表conn_zorder，共含有src_ip、src_port、dst_ip和dst_port四列。

OPTIMIZE conn_zorder ZORDER BY (src_ip, src_port, dst_ip, dst_port);