实时数仓Hologres：Blink和Flink常见问题及诊断

基本概念

• Hologres性能

  • 写入性能

    • 列存表： InsertOrIgnore > InsertOrReplace > InsertOrUpdate

    • 行存表： InsertOrReplcae = InsertOrUpdate > InsertOrIgnore

    参数	说明
    InsertOrIgnore	结果表有主键，实时写入时如果主键重复，丢弃后到的数据。
    InsertOrReplace	结果表有主键，实时写入时如果主键重复，按照主键更新，如果写入的一行数据不包含所有列，缺失的列的数据补Null。
    InsertOrUpdate	结果表有主键，实时写入时如果主键重复，按照主键更新，如果写入的一行数据不包含所有列，缺失的列不更新。

  • 点查性能

    行存 = 行列混存 > 列存。

• Blink、Flink（VVP）、开源Flink支持情况

  产品形态	数据存储类型					描述
  	源表	结果表	维表	Binlog	Hologres Catalog
  Flink全托管	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	支持	支持	无
  Blink独享	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	Hologres V0.8版本只支持行存储，V0.9及以上版本支持行存储及列存储。建议使用行存储。	不支持	已开始逐步下线，推荐使用阿里云Flink全托管。
  开源Flink1.10	支持行存储及列存储。	支持行存储及列存储。	无	不支持	不支持	无
  开源Flink1.11及以上	支持行存储及列存储。	支持行存储及列存储。	建议使用行存储。	不支持	不支持	从开源Flink1.11版本开始，Hologres代码已开源。详细内容请参见GitHub。

• Blink、Flink 映射Hologres的SQL示例如下。

  create table holo_source(
  'hg_binlog_lsn' BIGINT HEADER,
  'hg_binlog_event_type' BIGINT HEADER,
  'hg_binlog_timestamp_us' BIGINT HEADER,
  A int,
  B int,
  C timestamp )
  with (
  type = 'hologres',
  'endpoint' = 'xxx.hologres.aliyuncs.com:80',   --Hologres实例的Endpoint。
  'userName' = '',                               --当前阿里云账号的AccessKey ID。
  'password' = '',                               --当前阿里云账号的AccessKey Secret。
  'dbName' = 'binlog',                           --Hologres实例的数据库名称。
  'tableName' ='test'                            --Hologres实例的表名称。
  'binlog' = 'true',
  );

  Blink、VVP、Flink SQL，都是在Flink侧声明一张表，然后根据参数映射至Hologres的一张具体的物理表，所以不支持映射至外部表。

实时写入慢问题排查流程

1. 确认写入相关配置

   需要确认以下配置信息。

   • 目标表的存储格式，包括行存表、列存表和行列共存表。

   • Insert模式，包括InsertOrIgnore、InsertOrUpdate和InsertOrReplace。

   • 目标表的Table Group及Shard Count。

2. 查看监控指标的实时写入延迟

   如果平均写入延迟偏高，在百毫秒甚至秒级别，通常便是后端达到了写入瓶颈，这时候可能会存在如下问题。

   • 使用了列存表的InsertOrUpdate，即局部更新，且流量较高，这种情况下会导致实例的CPU负载和写入延迟偏高。

     解决方法：建议更换表的类型，使用行存表，如果您的实例是V1.1及以上版本可以选择行列混存表。

   • 云监控查看实例的CPU负载，如果CPU水位接近100%，但没有列存表的局部更新，那么通常情况下是由于高QPS的查询，或者本身写入量较高导致的。

     解决方法：扩容Hologres实例。

   • 确认是否有不断的Insert into select from命令，触发了该表的BulkLoad写入，当前BulkLoad写入会阻塞实时写入。

     解决方法：将BulkLoad写入转换成实时写入，或者错峰执行。

3. 确认是否有数据倾斜

   使用如下SQL命令查看是否有数据倾斜。

   SELECT hg_shard_id, count(1) FROM t1 GROUP BY hg_shard_id ORDER BY hg_shard_id;

   解决方法：修改Distribution Key，使数据分布更加均衡。

4. 确认后端是否有压力

   如果以上步骤排查完没有问题，写入性能突然下降，一般情况是后端集群压力比较大，存在瓶颈。请联系技术支持人员确认情况，详情请参见如何获取更多的在线支持？。

5. 查看Blink/Flink侧的反压情况

   上述步骤排查完后，发现Hologres侧没有明显的异常，通常情况下是客户端慢了，也就是Blink/Flink侧本身就慢了，这时候确认是否是Sink节点反压了。如果作业只有一个节点，就无法看出是否反压了，这时候可以将Sink节点单独拆开再观察。具体请联系Flink技术支持。

写入数据有问题排查流程

这种情况通常是由于数据乱序引起的，比如相同主键的数据分布在不同的Flink Task上，写入的时候无法保证顺序。需要确认Flink SQL的逻辑，最后写出到Hologres的时候，是否按照Hologres表的主键进行Shuffle了。

维表查询问题排查流程

• 维表Join和双流Join

  对于读Hologres的场景，需要首先确认用户是否使用对了维表Join，是否错将双流Join当成维表Join来使用了。以下是Hologres作为维表的使用示例，如果少了proctime AS PROCTIME()和 hologres_dim FOR SYSTEM_TIME AS两处关键字，则会变成双流Join。

  CREATE TEMPORARY TABLE datagen_source (
     a INT,
     b BIGINT,
     c STRING,
     proctime AS PROCTIME()
  ) with (
     'connector' = 'datagen'
  );
  
  CREATE TEMPORARY TABLE hologres_dim (
     a INT, 
     b VARCHAR, 
     c VARCHAR
  ) with (
     'connector' = 'hologres',
     ...
  );
  
  CREATE TEMPORARY TABLE blackhole_sink (
     a INT,
     b STRING
  ) with (
     'connector' = 'blackhole'
  );
  
  insert into blackhole_sink select T.a,H.b
  FROM datagen_source AS T JOIN hologres_dim FOR SYSTEM_TIME AS OF T.proctime AS H ON T.a = H.a;

• 维表查询

  1. 确认维表存储格式

     确认维表的存储格式是行存表、列存表还是行列共存。

  2. 维表查询延迟高

     维表的使用，最常见的问题就是Flink/Blink侧用户反馈Join节点有反压，导致整个作业的吞吐上不去。

     1. 确认Flink维表Join的模式

        当前Hologres Flink Connector的维表Join功能支持同步和异步模式两种，异步模式性能要优于同步模式，具体需要看Flink SQL进行区分，以下是一个开启异步维表查询功能的SQL示例。

        CREATE TABLE hologres_dim(
         id INT,
         len INT,
         content VARCHAR
        ) with (
          'connector'='hologres',
          'dbname'='<yourDbname>',  --Hologres的数据库名称。
          'tablename'='<yourTablename>',  --Hologres用于接收数据的表名称。
          'username'='<yourUsername>',  --当前阿里云账号的AccessKey ID。
          'password'='<yourPassword>',  --当前阿里云账号的AccessKey Secret。
          'endpoint'='<yourEndpoint>'  --当前Hologres实例VPC网络的Endpoint。
          'async' = 'true'--异步模式
        );

     2. 确认后端查询延迟

        查看监控指标的实时写入延迟：

        • 确认是否是列存表在做维表，列存表的维表在高QPS场景下开销很高。

        • 如果是行存表，且延迟高，通常情况下是实例整体负载较高导致的，需要进行扩容。

  3. 确认Join的Key是否是Hologres表的主键

     自VVR 4.x (Flink 1.13) 版本开始，Hologres Connector基于Holo Client实现了Hologres表的非主键查询，这种情况通常性能会比较差、实例负载也比较高，尤其是建表没有特别优化过的情况。这时候需要引导优化表结构，最常见的就是将Join的key设置成Distribution Key，这样就能实现Shard Pruning。

  4. 查看Blink侧的反压情况

     如果上述步骤排查完成，发现Hologres侧没有明显的异常，通常情况下是客户端慢了，也就是Blink侧本身就慢了，这时候可以确认是否是Sink节点反压了。如果作业只有一个节点，就无法看出是否反压了，这时候可以将Sink节点单独拆开再观察。同样可以排查是否是Join节点导致的反压。具体请联系Flink技术支持排查。

连接数使用说明

常见报错