Hologres：Serverless Computing使用指南

設定單條SQL的Serverless Computing資源上限

• 您可以執行如下代碼，設定每條SQL被分配的Serverless Computing資源上限。

  -- 配置單個Serverless Computing分配的最大CU，預設為512。
  SET hg_experimental_serverless_computing_max_cores = 512;
  
  -- 重設配置
  reset hg_experimental_serverless_computing_max_cores;

• 使用樣本

  -- 使用Serverless Computing資源執行SQL
  SET hg_computing_resource = 'serverless';
  
  -- 設定單條SQL最多使用32CU執行
  SET hg_experimental_serverless_computing_max_cores = 32;
  
  -- 執行SQL
  INSERT INTO sink_tbl SELECT * FROM source_tbl;
  
  -- 重設配置
  reset hg_computing_resource;
  reset hg_experimental_serverless_computing_max_cores;

設定單條SQL的Serverless Computing資源分派

針對hg_experimental_serverless_computing_required_cores參數，系統會根據SQL的複雜程度自動估算需要的資源量。系統自動估算出的資源量可以有效平衡Serverless資源利用和SQL執行時間長度。若需某條SQL能夠分配到更多的Serverless Computing資源，您可通過設定hg_experimental_serverless_computing_required_cores參數進行Serverless Computing資源分派。

• 您可以執行如下代碼，設定單個SQL語句在執行時所分配的Serverless Computing資源。

  -- 預設為0，表示該Serverless Computing的計算資源由系統自動估算
  SET hg_experimental_serverless_computing_required_cores = XX;
  
  -- 重設配置
  reset hg_experimental_serverless_computing_required_cores;

• 使用樣本

  --使用Serverless Computing資源執行SQL
  SET hg_computing_resource = 'serverless';
  
  --Serverless Computing的計算資源不由系統估算，申請96CU的計算資源
  SET hg_experimental_serverless_computing_required_cores = 96;
  
  -- 執行SQL
  INSERT INTO sink_tbl SELECT * FROM source_tbl;
  
  -- 重設配置
  reset hg_computing_resource;
  reset hg_experimental_serverless_computing_required_cores;

設定單條SQL的Serverless Computing資源的優先順序

• 您可以執行如下代碼，設定Serverless Computing資源中SQL執行的優先順序。

  -- 優先順序範圍為 [1, 5], 數值越大，優先順序越高，越優先分配資源（和分配資源數量無關）
  -- 預設優先順序為3.
  SET hg_experimental_serverless_computing_query_priority to 5;
  -- 重設配置
  reset hg_experimental_serverless_computing_query_priority;

• 使用樣本

  --使用Serverless Computing資源執行 SQL.
  SET hg_computing_resource = 'serverless';
  
  -- 設定該SQL的優先順序是5
  SET hg_experimental_serverless_computing_query_priority to 5;
  
  -- 執行SQL
  INSERT INTO sink_tbl SELECT * FROM source_tbl;
   
  -- 重設配置
  reset hg_computing_resource;
  reset hg_experimental_serverless_computing_query_priority;

設定使用者/角色的全部SQL預設通過Serverless Computing執行

您可以執行如下代碼，針對某一使用者/角色，使其發起的全部SQL均預設使用Serverless Computing資源執行。

--針對某使用者在某DB下，預設使用Serverless Computing資源執行SQL
ALTER USER <user_name> IN DATABASE <db_name> SET hg_computing_resource = 'serverless';

設定查詢隊列Query Queue的全部SQL通過Serverless Computing執行

您可以執行如下代碼，以針對某一查詢隊列，使其所有SQL語句均使用Serverless Computing資源執行。有關查詢隊列的配置方法，詳情請參見Query Queue（Beta）。

• 通用型執行個體

  -- 設定目標Queue中的查詢全部通過Serverless資源運行
  CALL hg_set_query_queue_property('<query_queue_name>', 'computing_resource', 'serverless');
  
  -- （可選）設定目標Queue中的查詢使用Serverless資源時的優先順序，支援1-5，預設為3
  CALL hg_set_query_queue_property('<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

• 計算群組型執行個體

  -- 設定目標Queue中的查詢全部通過Serverless資源運行
  CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'computing_resource', 'serverless');
  
  -- （可選）設定目標Queue中的查詢使用Serverless資源時的優先順序，支援1-5，預設為3
  CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

查看執行個體使用Serverless Computing的監控指標

您可通過以下方式查看Serverless Query最長運行時間長度、Serverless Computing Query排隊數量、Serverless Computing資源Quota使用率的監控指標。如有需要，可進一步配置監控警示，詳情請參見CloudMonitor。

1. 登入Hologres管理主控台。

2. 在Hologres管理主控台頂部功能表列，選擇目標地區。

3. 單擊左側導覽列的執行個體列表。

4. 在執行個體列表頁面單擊目標執行個體名稱，進入執行個體詳情頁。

   您也可以單擊目標執行個體操作列的管理，進入執行個體詳情頁。

5. 在執行個體詳情頁左側導覽列，單擊監控資訊，查看監控指標。

查看Serverless Computing資源中SQL任務的運行狀態

• 查看Serverless Computing資源中正在啟動並執行SQL任務。

  SELECT
      *,
      (running_info::json) ->> 'computing_resource' AS computing_resource,
      (running_info::json) ->> 'current_stage' AS current_stage
  FROM
      hg_stat_activity
  WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
      AND (running_info::json) -> 'current_stage'->>'stage_name' = 'EXECUTE'

• 查看Serverless Computing資源中排隊的SQL任務。

  SELECT
      *,
      (running_info::json) ->> 'computing_resource' AS computing_resource,
      (running_info::json) ->> 'current_stage' AS current_stage
  FROM
      hg_stat_activity
  WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
      AND (running_info::json) -> 'current_stage'->>'stage_name' = 'QUEUE'

• 查看Serverless Computing資源中SQL任務的運行狀態。

  SELECT
      *,
      (running_info::json) ->> 'computing_resource' AS computing_resource,
      (running_info::json) ->> 'current_stage' AS current_stage
  FROM
      hg_stat_activity
  WHERE 
      query_id = '<query_id>';

查詢歷史的Serverless Computing任務

• 在慢Query日誌中查看在Serverless Computing資源中執行的歷史任務。

  SELECT
      *,
      extended_cost::json ->> 'queue_time_ms' AS queue_time_ms,--Serverless Computing資源中SQL等待排隊時間長度。
      extended_cost::json ->> 'serverless_allocated_cores' AS serverless_allocated_cores,--Serverless Computing資源分派給當前SQL的CU數。
      extended_cost::json ->> 'serverless_allocated_workers' AS serverless_allocated_workers,--Serverless Computing資源分派給當前SQL的Worker數。
      extended_cost::json ->> 'serverless_resource_used_time_ms' AS serverless_resource_used_time_ms--當前SQL實際佔用Serverless Computing資源的時間長度。
  FROM
      hologres.hg_query_log
  WHERE
      query_extinfo @> ARRAY['serverless_computing'::text];

• 在hologres.hg_serverless_computing_query_log視圖中查看在Serverless Computing資源中執行的歷史任務。

  SELECT
      *
  FROM
      hologres.hg_serverless_computing_query_log;

  說明

  自2.1.18版本開始，為了方便查詢，將慢Query日誌中Serverless Computing任務相關內容固化為列，並且新增了hologres hg_serverless_computing_query_log視圖。相對於慢Query日誌hologres.hg_serverless_computing_query_log視圖中新增以下欄位：

  • queue_time_ms：Serverless Computing資源中SQL等待排隊時間長度，單位毫秒（ms）。

  • serverless_allocated_cores：Serverless Computing資源實際分配給當前SQL的CU數。

  • serverless_allocated_workers：Serverless Computing資源實際分配給當前SQL的Worker數。

  • serverless_resource_used_time_ms：當前SQL實際佔用Serverless Computing資源的時間長度，單位毫秒（ms）。

  • extended_info欄位中新增以下資訊：

    • serverless_computing_source：表示SQL來源，表示使用Serverless Computing資源執行的SQL。取值如下：

      • user_submit：自行指定使用Serverless資源執行的SQL，與Query Queue無關。

      • query_queue：指定查詢隊列的SQL全部由Serverless資源執行。

      • query_queue_rerun：通過Query Queue的大查詢控制功能，自動使用Serverless資源重新啟動並執行SQL。

    • query_id_of_triggered_rerun：該欄位僅在serverless_computing_source為query_queue_rerun時存在，表示重新啟動並執行SQL對應的原始Query ID。

  針對部分特殊任務，如COPY、CTAS等，在慢Query日誌中會產生多條記錄，包括COPY或CTAS本身及其過程中產生的INSERT記錄，其中的INSERT會實際使用Serverless資源執行。可以通過COPY或CTAS的trans_id欄位關聯到INSERT記錄，關聯樣本如下。

  SELECT
      query_id,
      query,
      extended_info
  FROM
      hologres.hg_query_log
  WHERE
      extended_info ->> 'source_trx' = '<transaction_id>' -- 通過COPY/CTAS等本身記錄的trans_id欄位可以取到transaction id
  ORDER BY
      query_start
  ;

查看當前資料庫啟動並執行SQL佔用的Serverless Computing資源

• 查看Serverless Computing資源中正在啟動並執行SQL任務佔用的總資源量。

  SELECT
      datname::text as db_name,
      (running_info::json) -> 'current_stage' ->> 'stage_name' AS current_stage,
      SUM(((running_info::json) -> 'current_stage' ->> 'serverless_allocated_cores')::int) AS total_computing_resource,
      count(1) as query_qty
  FROM
      hg_stat_activity
  WHERE (running_info::json) ->> 'computing_resource' = 'Serverless'
  GROUP BY
      1,
      2;

• 返回結果欄位說明

  欄位	描述
  db_name	資料庫名稱。
  current_stage	當前SQL執行階段。 PARSE：SQL解析。 OPTIMIZE：產生執行計畫。 QUEUE：等待資源。 START：Query開始階段。 EXECUTE：Query執行階段。 FINISH：Query完成。
  total_computing_resourcet	在當前資料庫和SQL執行階段，使用的Serverless Computing資源總量。
  query_qty	SQL數量。