实时数仓Hologres：计算组管理

权限说明

• 仅支持使用阿里云账号或者RAM用户扩容计算组，不支持STS账号。

• 扩容计算组计算资源需要具备以下权限：

  • RAM角色权限：AliyunHologresWarehouseFullAccess或AliyunHologresFullAccess权限。

  • 实例内部的Superuser权限。

使用说明

• 扩容计算组前，需要先在管控台上扩容实例的资源，确保实例有足够的未分配资源。当实例资源调整完毕后，系统会拉起新的Pod，但是此时Pod上并未加载任何Shard的元数据，所以扩容出来的Pod不会参与计算，实例扩容的操作不会影响计算组的查询和写入。

• 实例扩容完成，且有足够的未分配资源后，可以继续使用该部分未分配资源，扩容计算组资源。如果实例未分配资源不足，则无法完成计算组扩容。

  • 自Hologres V2.2版本起，如果计算组有空Pod，系统会自动执行Rebalance操作，使新的Pod加载Shard的元数据。在Rebalance完成后，才能使用新扩容的资源，Rebalance时查询和写入会中断15秒。因此，如果您的实例为V2.2及以上版本，扩容计算组后，无需手动执行Rebalance操作。如果您的实例版本低于V2.2，则需手动执行Rebalance操作。

  • Hologres V3.0版本起，计算组扩容期间，计算组的查询和写入不会中断。

操作步骤

1. 扩容计算组资源，操作语法如下：

   CALL hg_alter_warehouse ('<warehouse_name>',<cu>);

   参数说明：

   参数	类型	说明
   warehouse_name	TEXT	需要调整的计算组名称。
   cu	INTEGER	计算组的CU数。 最大值：512。 最小值：32。 步长：16。

2. 查询计算组的状态。

   由于调整计算组计算资源的过程是异步的，执行SQL后，并不代表计算组计算资源调整完成，需要您使用hg_get_warehouse_status函数查询计算组的状态。

   select hg_get_warehouse_status('<warehouse_name>');

   返回结果为Running，即计算组在Running状态下，继续下面步骤。

3. Shard重分布。

   使用如下命令让Shard重新分布到增加扩容的计算组上。

   SELECT hg_rebalance_warehouse ('<warehouse_name>');

4. 查询计算组的状态。

   由于rebalance的过程是异步的，执行SQL后，并不代表rebalance调整完成，需要您使用如下命令查询计算组的状态。

   • hg_get_rebalance_warehouse_status函数返回当前计算组的状态：

     SELECT hg_get_rebalance_warehouse_status ('<warehouse_name>');

     返回t即表示成功。

   • hg_wait_until_rebalance_warehouse_done函数可以直到指定计算组处于Running状态时，再返回结果：

     select hg_wait_until_rebalance_warehouse_done('<warehouse_name>',<timeout_seconds>);

     其中timeout_seconds：非必填。代表返回超时时间，单位为秒，类型为INTEGER。

     返回DONE即表示成功。

使用示例

推荐使用如下SQL为read_warehouse_1计算组扩容至64CU：

-- 增加计算组的资源
CALL hg_alter_warehouse ('read_warehouse_1',64);

-- 等待计算组扩容完毕
SELECT wait_until_warehouse_running ('read_warehouse_1');

-- rebalance
SELECT hg_rebalance_warehouse ('read_warehouse_1');

-- 等待rebalance完毕
SELECT hg_wait_until_rebalance_warehouse_done ('read_warehouse_1');

权限说明

• 仅支持使用阿里云账号或者RAM用户缩容计算组，不支持STS账号。

• 缩容计算组计算资源需要具备以下权限：

  • RAM角色权限：AliyunHologresWarehouseFullAccess或AliyunHologresFullAccess权限

  • 实例内部的Superuser权限。

使用说明

• 缩容时Hologres系统会先做Shard的Rebalance，将准备下线的Pod上的Shard迁移到其他Pod上。Rebalance中查询和写入会中断15秒。Rebalance完成后，直接下线多余的Pods。

• 缩容后，计算资源会归属到实例未分配资源中，您可以继续使用该资源新建计算组或扩容其他计算组，也可以缩容实例以释放该资源。

操作步骤

1. 缩容计算组资源，操作语法如下：

   CALL hg_alter_warehouse ('<warehouse_name>',<cu>);

   参数说明：

   参数	类型	说明
   warehouse_name	TEXT	需要调整的计算组名称。
   cu	INTEGER	计算组的CU数。 最大值：512。 最小值：32。 步长：16。

2. 查询计算组的状态。

   由于调整计算组计算资源的过程是异步的，执行SQL后，并不代表计算组计算资源调整完成，需要您使用hg_get_warehouse_status函数查询计算组的状态。

   select hg_get_warehouse_status('<warehouse_name>');

   返回结果为running，即计算组状态为running状态。

计算组均衡分片（Rebalance）

Hologres实例在运行时，每个计算组的Worker节点会均匀地加载数据分片（Shard）的元数据。但是在某些场景下（例如触发了快速恢复、扩容等），数据分片在Worker节点上分布不均，此时就需要触发均衡分片操作，使系统主动的重新分配数据分片，最终让计算组的Worker节点均匀加载Shard的元数据。

• 权限说明

  触发均衡分片操作需要具备实例的Superuser权限。

• 注意事项

  • Hologres从 V2.1版本开始，如果计算组内发现有空的Worker节点（未加载任何Shard），计算组会自动触发Rebalance。

  • Hologres从 V2.2版本开始，系统支持对计算组Rebalance期间执行的查询（SELECT）自动重试，使得查询能在适当延长执行时间后顺利完成，不会出现如ERROR: fail to execute query internal error: Get rundown is not allowed in recovering state.异常报错。

• 命令格式

  SELECT hg_rebalance_warehouse ('<warehouse_name>');

• 参数说明

  参数	类型	说明
  warehouse_name	TEXT	需要触发均衡分片的计算组名称。

• 返回结果

  触发均衡分片操作后，有如下返回结果：

  • true：表示Rebalance触发成功，系统开始进行Rebalance操作。

  • false：表示无需Rebalance。

  • 报错：表示Rebalance触发失败。例如存在Pod故障时，触发Rebalance操作会报错。

  说明

  • 执行Rebalance过程中，系统会计算是否需要Rebalance，最终达到均衡状态，即每个Worker加载的Shard数量差异小于等于1。例如：

    • 如果有2个Worker，2个Shard，那么最终每个Worker都会分到1个Shard。

    • 如果有2个Worker，3个Shard，那么最终其中1个Worker会分到1个Shard，另一个Worker会分到2个Shard。

  • Rebalance操作通常需要2~3分钟，执行时长和计算组中Table Group的数量有关，Table Group越多，Rebalance耗时越长。Rebalance过程中您的写入大约会中断15秒。

  • 由于Rebalance是异步执行，您可以使用如下SQL查看执行进度：

    SELECT hg_get_rebalance_warehouse_status('<warehouse_name>');

    返回结果为DOING表示正在执行Rebalance操作；返回结果为DONE表示Rebalance操作已完成。

设置计算组的超时时长

您可以通过设置statement_timeout参数，实现Session级别或数据库级别的超时时长设置，详情请参见GUC参数。

针对计算组，可以执行如下命令，为计算组设置超时时长。该配置优先级低于上述Session级别和数据库级别配置，因此需要先取消数据库级别的配置。

-- 取消数据库级别设置
ALTER DATABASE <db_name> RESET statement_timeout;

-- 设置计算组的超时时长为600s
CALL hg_alter_warehouse ('<warehouse_name>', <cu>, '{"configs":{"gucs":{"statement_timeout":"600000"}}}');