Hologres：Query管理

Hologres相容PostgreSQL，可以通過查詢hg_stat_activity（pg_stat_activity）視圖資訊來查看執行個體Query的運行資訊，以達到分析和診斷運行SQL的目的。具體涉及的操作內容如下所示：

• 使用SQL查看活躍Query：查看SQL運行資訊，更好的管理SQL語句。

• HoloWeb可視化活躍Query管理：通過HoloWeb可視化查看和管理活躍Query。

• 排查鎖：通過活躍Query排查當前SQL是否有鎖或者被鎖。

• 終止Query：使用命令語句終止不符合預期的Query。

• 修改活躍Query逾時時間：修改活躍Query運行逾時時間，防止引發死結。

• 修改空閑Query逾時時間：修改空閑Query運行逾時時間，防止引發死結。

• 查詢慢Query日誌：通過慢Query的查詢可以對慢Query或失敗Query進行診斷、分析和採取最佳化措施。

• 常見問題：出現ERROR: canceling statement due to statement timeout報錯的原因和解決方案。

從Hologres V2.0版本開始，pg_stat_activity升級為hg_stat_activity視圖。hg_stat_activity是pg_stat_activity視圖的擴充，可以通過hg_stat_activity查詢到活躍SQL更詳細的運行資訊，包括query id、query engine以及資源消耗等資訊，從而協助更進一步診斷活躍Query。您可以執行如下命令查看Query的運行資訊。其他Postgres相容管理工具，依舊可以查詢pg_stat_activity擷取SQL運行態資訊。

--2.0及以上推薦文法
SELECT *  FROM hg_stat_activity;

--1.3及以下版本文法
SELECT *  FROM pg_stat_activity;

hg_stat_activity視圖的欄位說明如下所示：

若您更傾向於使用SQL方式查詢活躍Query，可以使用以下SQL進行操作：

1. 查看當前活躍Query以及對應的執行階段和資源消耗：

   說明

   Superuser可以查看所有使用者的SQL運行資訊，RAM使用者只能查看自己的SQL運行資訊。

   --2.0及以上版本文法
   SELECT query,state,query_id,transaction_id,running_info, extend_info 
   FROM hg_stat_activity 
   WHERE state = 'active' 
   AND     backend_type = 'client backend'
   AND     application_name != 'hologres'
   
   --1.3及以下版本文法
   SELECT query,state,pid
   FROM pg_stat_activity 
   WHERE state = 'active' 
   AND     backend_type = 'client backend'
   AND     application_name != 'hologres'

   樣本返回結果：

   -------------------------------------------------------------------------------
   query          | insert into test_hg_stat_activity select i, (i % 7) :: text, (i % 1007) from generate_series(1, 10000000)i;
   state          | active
   query_id       | 100713xxxx
   transaction_id | 100713xxxx
   running_info   | {"current_stage" : {"stage_duration_ms" :5994,
                                         "stage_name" :"EXECUTE" },
                      "engine_type" :"{HQE,PQE}",
                      "fe_id" :1,
                      "warehouse_id" :0 }
   extend_info    | {"affected_rows" :9510912,
                     "scanned_rows" :9527296 }

2. 當前啟動並執行Query按照CPU消耗排序：

   --2.0及以上文法
   SELECT query,((extend_info::json)->'total_cpu_max_time_ms')::text::bigint AS cpu_cost,state,query_id,transaction_id 
   FROM hg_stat_activity WHERE state = 'active' ORDER BY 2 DESC;

   樣本返回結果：

   ---------------------------------------------------------------------------------
   query          | select xxxxx
   cpu_cost       | 523461
   state          | active
   query_id       | 10053xxxx
   transaction_id | 10053xxxx
   ---------------------------------------------------------------------------------
   query          | insert xxxx
   cpu_cost       | 4817
   state          | active
   query_id       | 1008305xxx
   transaction_id | 1008305xxx

3. 當前啟動並執行Query按照記憶體消耗排序：

   --2.0及以上文法
   SELECT query,((extend_info::json)->'total_mem_max_bytes')::text::bigint AS mem_max_cost,state,query_id,transaction_id 
   FROM hg_stat_activity WHERE state = 'active' ORDER BY 2 DESC;

   樣本返回結果：

   ---------------------------------------------------------------------------------
   query          | update xxxx;
   mem_max_cost   | 5727634542
   state          | active
   query_id       | 10053302784827629
   transaction_id | 10053302784827629
   ---------------------------------------------------------------------------------
   query          | select xxxx;
   mem_max_cost   | 19535640
   state          | active
   query_id       | 10083259096119559
   transaction_id | 10083259096119559

4. 查看當前執行個體正在運行且耗時較長的Query：

   --2.0及以上文法
   SELECT current_timestamp - query_start AS runtime, datname::text, usename, query, query_id
       FROM hg_stat_activity
       WHERE state != 'idle'
       AND backend_type = 'client backend'
       AND application_name != 'hologres'
       ORDER BY 1 DESC;
   
   --1.3及以下文法
   SELECT current_timestamp - query_start AS runtime, datname::text, usename, query, pid
       FROM pg_stat_activity
       WHERE state != 'idle'
       AND backend_type = 'client backend'
       AND application_name != 'hologres'
       ORDER BY 1 DESC;

   樣本返回結果：

   runtime          |  datname  | usename  | query_id    |      current_query
   -----------------+----------------+----------+------------------------------------
    00:00:24.258388 | holotest  | 123xxx   | 1267xx | UPDATE xxx;
    00:00:1.186394  | testdb    | 156xx    | 1783xx | select xxxx;

   可以看到update耗時較久，已經運行了24s還沒有結束。

您可以通過HoloWeb可視化查看活躍Query，並進行管理。

1. 登入HoloWeb控制台，詳情請參見串連HoloWeb並執行查詢。

2. 單擊頂部導覽列的診斷與最佳化。

3. 在左側導覽列選擇活躍資訊管理 > 活躍Query。

4. 進入活躍Query頁面，單擊查詢，查看當前執行個體的活躍Query及對活躍Query進行管理。

   查詢結果清單包含如下資訊：

   參數	說明
   Query Start	查詢開始時間。
   Runtime	查詢已耗用時間。
   PID	查詢服務進程ID。
   Query	查詢執行的SQL語句。
   State	當前串連的狀態。常見的狀態如下： active：活躍。 idle：空閑。 idle in transaction：長事務中的空閑狀態。 idle in transaction（Aborted）：已失敗事務中的空閑狀態。 \N: 狀態為空白，表示非使用者串連的進程，一般屬於系統背景維護進程，可以忽略。
   User Name	當前串連的使用者名稱。
   Application	查詢應用類型。
   Client Address	查詢用戶端的IP地址。

   如果Query長時間運行不結束，您可以單擊對應Query操作列的取消，終結Query。也可以多選Query，執行批量取消操作。

5. （可選）單擊目標查詢操作列的詳情，查看當前查詢的詳細資料。

   您可在詳情頁面，執行如下操作：

   • 複製：複製當前查詢執行的SQL語句。

   • 格式化：格式化當前查詢執行的SQL語句。

不符合預期的Query需要終止，可以通過以下命令語句操作。

• 終止單個Query：

  SELECT pg_cancel_backend(<pid>);

• 批量終止Query：

  SELECT pg_cancel_backend(pid)
          ,query
          ,datname
          ,usename
          ,application_name
          ,client_addr
          ,client_port
          ,backend_start
          ,state
  FROM    pg_stat_activity
  WHERE   length(query) > 0
  AND     pid != pg_backend_pid()
  AND     backend_type = 'client backend'
  AND     application_name != 'hologres'