Hologres：Hologres Dynamic Table營運重新整理任務

監控指標

自V4.0.8版本起，Dynamic Table提供以下監控指標，便於您營運重新整理任務：

警示

您可以通過CloudMonitor為Dynamic Table重新整理任務配置警示規則，以便及時發現異常。具體操作請參見CloudMonitor。

查看運行中的重新整理任務

通過hologres.hg_dynamic_table_refresh_activity查看

您可以通過hologres.hg_dynamic_table_refresh_activity查看正在運行中的重新整理任務（包括全量重新整理和增量重新整理），以及資源消耗等。hologres.hg_dynamic_table_refresh_activity系統資料表欄位介紹詳情，請參見hologres.hg_dynamic_table_refresh_activity系統資料表。

--查看當前正在啟動並執行重新整理任務
SELECT
    pid,
    query_id,
    refresh_mode,
    'RUNNING' as status,
    refresh_start,
    extract(epoch from duration) as duration, -- milliseconds
    serverless_queue_time_ms::bigint / 1000 AS serverless_queue_time_sec,
    serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_sec,
    serverless_allocated_cores
FROM
    hologres.hg_dynamic_table_refresh_activity
WHERE datname = '${database}'
  AND table_write = quote_ident('${schema}') || '.' || quote_ident('${tableName}')
ORDER BY refresh_start DESC
limit 2000;

通過hg_stat_activity查看

您可以通過hg_stat_activity系統檢視表查看正在運行中的重新整理任務，在hg_stat_activity中不同的重新整理模式顯示存在差異：

• 全量重新整理：會展示INSERT語句。

• 增量重新整理：會展示Refresh任務。

通過監控指標查看重新整理任務

您可以通過查看QPS、RPS、Latency等指標，確認Dynamic Table重新整理任務的執行情況，其中Command Type為refresh，即為Dynamic Table的重新整理任務。關於監控指標詳情，請參見Hologres管控台的監控指標。

若Dynamic Table重新整理任務，在Serverless Computing資源中運行，您也可以Serverless Computing相關指標中進行查看。

查看歷史重新整理任務

通過hologres.hg_dynamic_table_refresh_history查看

hologres.hg_dynamic_table_refresh_history系統資料表會記錄近一個月，所有Dynamic Table重新整理任務（包括全量重新整理、增量重新整理、手動重新整理）的歷史資訊。hologres.hg_dynamic_table_refresh_history系統資料表欄位介紹詳情，請參見hologres.hg_dynamic_table_refresh_history 系統資料表。

• 樣本1：查看增量重新整理過去一天的記錄。

  --樣本1：查看增量重新整理過去一天的記錄
  SELECT
      query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM
      hologres.hg_dynamic_table_refresh_history
  WHERE
      refresh_start >= CURRENT_DATE - INTERVAL '1 day'
      AND dynamic_table_name = '<dynamic_table>'
      AND refresh_mode = 'incremental'
  ORDER BY
      refresh_start DESC
  limit 100;
  

• 樣本2：查看當前執行個體，過去1天所有的重新整理任務。

  --查看執行個體內過去1天所有的重新整理記錄
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where refresh_start >= CURRENT_DATE - INTERVAL '1 day'

• 樣本3：查看指定表過去一天的重新整理記錄。

  --查看某個表過去一天的重新整理記錄
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
       serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where schema_name='<scehma_name>' and dynamic_table_name='<dynamic_table>' and  refresh_start >= CURRENT_DATE - INTERVAL '1 day'

-- 擷取cron_job_name
SELECT property_value AS cron_job_name
FROM hologres.hg_dynamic_table_properties
WHERE dynamic_table_name = '<dt_name>' AND property_key = 'cron_job_name';

-- 通過cron_job_name查詢Cron任務執行記錄
SELECT *
FROM hologres.hg_user_cron_tasks
WHERE jobname = '<cron_job_name>'
ORDER BY start_time DESC;

通過慢Query日誌查看

您可以通過慢Query日誌查看Dynamic Table的重新整理任務，Command Type為refresh。通過慢Query日誌查看詳情，請參見慢Query日誌查看與分析。

表層級設定

建立Dynamic Table表時，設定重新整理任務逾時時間長度，對該表的所有重新整理任務都生效。以下SQL代碼以tpch_10g公用資料集為例，在執行之前，請確保已成功匯入tpch_10g公用資料集。具體操作，請參見建立公用資料集匯入任務。

--建立表時設定重新整理任務逾時時間。
CREATE DYNAMIC TABLE tpch_q1_batch
  WITH (
    refresh_mode='full',
    auto_refresh_enable='true',
    full_auto_refresh_interval='1 hours',
    refresh_guc_statement_timeout='30 mins'--重新整理逾時時間為30 mins
       ) 
AS
  SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) asAScount_order
FROM
        hologres_dataset_tpch_10.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus;

Session層級設定

手動重新整理時，可通過Session級GUC設定逾時時間長度，SQL樣本如下。

SET statement_timeout = <time>;
refresh DYNAMIC TABLE <dynamic_schema_name.dynamic_table_name>;

關於更多設定詳情，請參見修改活躍Query逾時時間。

通過 refresh with option 設定

手動重新整理時，也可通過refresh ... with (refresh_guc_statement_timeout = '...')為當次重新整理指定逾時時間。樣本如下。

REFRESH DYNAMIC TABLE <schema_name.table_name> WITH (
    refresh_guc_statement_timeout = '30 mins'
);

3.1新文法建立的Dynamic Table

-- 擷取query_job_id
SELECT query_job_id
FROM hologres.hg_dynamic_table_refresh_log('<dt_name>')
WHERE status = 'Running';

-- 根據query_job_id取消對應的重新整理任務
SELECT hologres.hg_internal_cancel_query_job('<query_job_id>');

ALTER DYNAMIC TABLE [ IF EXISTS ] [<schema>.]<table_name> SET (auto_refresh_enable=false);

3.0文法建立的Dynamic Table

-- pid為重新整理任務ID，可通過查看重新整理任務擷取query_id
SELECT pg_cancel_backend(<pid>);

ALTER DYNAMIC TABLE [IF EXISTS ] [<schema>.]<table_name> set (auto_refresh_enable=false);