Hologres：Blink和Flink常見問題及診斷

基本概念

• Hologres效能

  • 寫入效能

    • 列存表： InsertOrIgnore > InsertOrReplace > InsertOrUpdate

    • 行存表： InsertOrReplcae = InsertOrUpdate > InsertOrIgnore

    參數	說明
    InsertOrIgnore	結果表有主鍵，即時寫入時如果主鍵重複，丟棄後到的資料。
    InsertOrReplace	結果表有主鍵，即時寫入時如果主鍵重複，按照主鍵更新，如果寫入的一行資料不包含所有列，缺失的列的資料補Null。
    InsertOrUpdate	結果表有主鍵，即時寫入時如果主鍵重複，按照主鍵更新，如果寫入的一行資料不包含所有列，缺失的列不更新。

  • 點查效能

    行存 = 行列混存 > 列存。

• Blink、Flink（VVP）、開源Flink支援情況

  產品形態	資料存放區類型					描述
  	源表	結果表	維表	Binlog	Hologres Catalog
  Flink全託管	支援行儲存及列儲存。	支援行儲存及列儲存。	建議使用行儲存。	支援	支援	無
  Blink獨享	支援行儲存及列儲存。	支援行儲存及列儲存。	建議使用行儲存。	Hologres V0.8版本只支援行儲存，V0.9及以上版本支援行儲存及列儲存。建議使用行儲存。	不支援	已開始逐步下線，推薦使用阿里雲Flink全託管。
  開源Flink1.10	支援行儲存及列儲存。	支援行儲存及列儲存。	無	不支援	不支援	無
  開源Flink1.11及以上	支援行儲存及列儲存。	支援行儲存及列儲存。	建議使用行儲存。	不支援	不支援	從開源Flink1.11版本開始，Hologres代碼已開源。詳細內容請參見GitHub。

• Blink、Flink 映射Hologres的SQL樣本如下。

  create table holo_source(
  'hg_binlog_lsn' BIGINT HEADER,
  'hg_binlog_event_type' BIGINT HEADER,
  'hg_binlog_timestamp_us' BIGINT HEADER,
  A int,
  B int,
  C timestamp )
  with (
  type = 'hologres',
  'endpoint' = 'xxx.hologres.aliyuncs.com:80',   --Hologres執行個體的Endpoint。
  'userName' = '',                               --當前阿里雲帳號的AccessKey ID。
  'password' = '',                               --當前阿里雲帳號的AccessKey Secret。
  'dbName' = 'binlog',                           --Hologres執行個體的資料庫名稱。
  'tableName' ='test'                            --Hologres執行個體的表名稱。
  'binlog' = 'true',
  );

  Blink、VVP、Flink SQL，都是在Flink側聲明一張表，然後根據參數映射至Hologres的一張具體的物理表，所以不支援映射至外部表格。

即時寫入慢問題排查流程

1. 確認寫入相關配置

   需要確認以下配置資訊。

   • 目標表的儲存格式，包括行存表、列存表和行列共存表。

   • Insert模式，包括InsertOrIgnore、InsertOrUpdate和InsertOrReplace。

   • 目標表的Table Group及Shard Count。

2. 查看監控指標的即時寫入延遲

   如果平均寫入延遲偏高，在百毫秒甚至秒層級，通常便是後端達到了寫入瓶頸，這時候可能會存在如下問題。

   • 使用了列存表的InsertOrUpdate，即局部更新，且流量較高，這種情況下會導致執行個體的CPU負載和寫入延遲偏高。

     解決方案：建議更換表的類型，使用行存表，如果您的執行個體是V1.1及以上版本可以選擇行列混存表。

   • CloudMonitor查看執行個體的CPU負載，如果CPU水位接近100%，但沒有列存表的局部更新，那麼通常情況下是由於高QPS的查詢，或者本身寫入量較高導致的。

     解決方案：擴容Hologres執行個體。

   • 確認是否有不斷的Insert into select from命令，觸發了該表的BulkLoad寫入，當前BulkLoad寫入會阻塞即時寫入。

     解決方案：將BulkLoad寫入轉換成即時寫入，或者錯峰執行。

3. 確認是否有資料扭曲

   使用如下SQL命令查看是否有資料扭曲。

   SELECT hg_shard_id, count(1) FROM t1 GROUP BY hg_shard_id ORDER BY hg_shard_id;

   解決方案：修改Distribution Key，使資料分布更加均衡。

4. 確認後端是否有壓力

   如果以上步驟排查完沒有問題，寫入效能突然下降，一般情況是後端叢集壓力比較大，存在瓶頸。請聯絡技術支援人員確認情況，詳情請參見如何擷取更多的線上支援？。

5. 查看Blink/Flink側的反壓情況

   上述步驟排查完後，發現Hologres側沒有明顯的異常，通常情況下是用戶端慢了，也就是Blink/Flink側本身就慢了，這時候確認是否是Sink節點反壓了。如果作業只有一個節點，就無法看出是否反壓了，這時候可以將Sink節點單獨拆開再觀察。具體請聯絡Flink支援人員。

寫入資料有問題排查流程

這種情況通常是由於資料亂序引起的，比如相同主鍵的資料分布在不同的Flink Task上，寫入的時候無法保證順序。需要確認Flink SQL的邏輯，最後寫出到Hologres的時候，是否按照Hologres表的主鍵進行Shuffle了。

維表查詢問題排查流程

• 維表Join和雙流Join

  對於讀Hologres的情境，需要首先確認使用者是否使用對了維表Join，是否錯將雙流Join當成維表Join來使用了。以下是Hologres作為維表的使用樣本，如果少了proctime AS PROCTIME()和 hologres_dim FOR SYSTEM_TIME AS兩處關鍵字，則會變成雙流Join。

  CREATE TEMPORARY TABLE datagen_source (
     a INT,
     b BIGINT,
     c STRING,
     proctime AS PROCTIME()
  ) with (
     'connector' = 'datagen'
  );
  
  CREATE TEMPORARY TABLE hologres_dim (
     a INT, 
     b VARCHAR, 
     c VARCHAR
  ) with (
     'connector' = 'hologres',
     ...
  );
  
  CREATE TEMPORARY TABLE blackhole_sink (
     a INT,
     b STRING
  ) with (
     'connector' = 'blackhole'
  );
  
  insert into blackhole_sink select T.a,H.b
  FROM datagen_source AS T JOIN hologres_dim FOR SYSTEM_TIME AS OF T.proctime AS H ON T.a = H.a;

• 維表查詢

  1. 確認維表格儲存體格式

     確認維表的儲存格式是行存表、列存表還是行列共存。

  2. 維表查詢延遲高

     維表的使用，最常見的問題就是Flink/Blink側使用者反饋Join節點有反壓，導致整個作業的吞吐上不去。

     1. 確認Flink維表Join的模式

        當前Hologres Flink Connector的維表Join功能支援同步和非同步模式兩種，非同步模式效能要優於同步模式，具體需要看Flink SQL進行區分，以下是一個開啟非同步維表查詢功能的SQL樣本。

        CREATE TABLE hologres_dim(
         id INT,
         len INT,
         content VARCHAR
        ) with (
          'connector'='hologres',
          'dbname'='<yourDbname>',  --Hologres的資料庫名稱。
          'tablename'='<yourTablename>',  --Hologres用於接收資料的表名稱。
          'username'='<yourUsername>',  --當前阿里雲帳號的AccessKey ID。
          'password'='<yourPassword>',  --當前阿里雲帳號的AccessKey Secret。
          'endpoint'='<yourEndpoint>'  --當前Hologres執行個體VPC網路的Endpoint。
          'async' = 'true'--非同步模式
        );

     2. 確認後端查詢延遲

        查看監控指標的即時寫入延遲：

        • 確認是否是列存表在做維表，列存表的維表在高QPS情境下開銷很高。

        • 如果是行存表，且延遲高，通常情況下是執行個體整體負載較高導致的，需要進行擴容。

  3. 確認Join的Key是否是Hologres表的主鍵

     自VVR 4.x (Flink 1.13) 版本開始，Hologres Connector基於Holo Client實現了Hologres表的非主鍵查詢，這種情況通常效能會比較差、執行個體負載也比較高，尤其是建表沒有特別最佳化過的情況。這時候需要引導最佳化表結構，最常見的就是將Join的key設定成Distribution Key，這樣就能實現Shard Pruning。

  4. 查看Blink側的反壓情況

     如果上述步驟排查完成，發現Hologres側沒有明顯的異常，通常情況下是用戶端慢了，也就是Blink側本身就慢了，這時候可以確認是否是Sink節點反壓了。如果作業只有一個節點，就無法看出是否反壓了，這時候可以將Sink節點單獨拆開再觀察。同樣可以排查是否是Join節點導致的反壓。具體請聯絡Flink支援人員排查。

串連數使用說明

常見報錯