实时数仓Hologres：Hologres Dynamic Table运维刷新任务

监控指标

自V4.0.8版本起，Dynamic Table提供以下监控指标，便于您运维刷新任务：

告警

您可以通过云监控为Dynamic Table刷新任务配置告警规则，以便及时发现异常。具体操作请参见云监控。

查看运行中的刷新任务

通过hologres.hg_dynamic_table_refresh_activity查看

您可以通过hologres.hg_dynamic_table_refresh_activity查看正在运行中的刷新任务（包括全量刷新和增量刷新），以及资源消耗等。hologres.hg_dynamic_table_refresh_activity系统表字段介绍详情，请参见hologres.hg_dynamic_table_refresh_activity系统表。

--查看当前正在运行的刷新任务
SELECT
    pid,
    query_id,
    refresh_mode,
    'RUNNING' as status,
    refresh_start,
    extract(epoch from duration) as duration, -- milliseconds
    serverless_queue_time_ms::bigint / 1000 AS serverless_queue_time_sec,
    serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_sec,
    serverless_allocated_cores
FROM
    hologres.hg_dynamic_table_refresh_activity
WHERE datname = '${database}'
  AND table_write = quote_ident('${schema}') || '.' || quote_ident('${tableName}')
ORDER BY refresh_start DESC
limit 2000;

通过hg_stat_activity查看

您可以通过hg_stat_activity系统视图查看正在运行中的刷新任务，在hg_stat_activity中不同的刷新模式显示存在差异：

• 全量刷新：会展示INSERT语句。

• 增量刷新：会展示Refresh任务。

通过监控指标查看刷新任务

您可以通过查看QPS、RPS、Latency等指标，确认Dynamic Table刷新任务的执行情况，其中Command Type为refresh，即为Dynamic Table的刷新任务。关于监控指标详情，请参见Hologres管控台的监控指标。

若Dynamic Table刷新任务，在Serverless Computing资源中运行，您也可以Serverless Computing相关指标中进行查看。

查看历史刷新任务

通过hologres.hg_dynamic_table_refresh_history查看

hologres.hg_dynamic_table_refresh_history系统表会记录近一个月，所有Dynamic Table刷新任务（包括全量刷新、增量刷新、手动刷新）的历史信息。hologres.hg_dynamic_table_refresh_history系统表字段介绍详情，请参见hologres.hg_dynamic_table_refresh_history 系统表。

• 示例1：查看增量刷新过去一天的记录。

  --示例1：查看增量刷新过去一天的记录
  SELECT
      query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM
      hologres.hg_dynamic_table_refresh_history
  WHERE
      refresh_start >= CURRENT_DATE - INTERVAL '1 day'
      AND dynamic_table_name = '<dynamic_table>'
      AND refresh_mode = 'incremental'
  ORDER BY
      refresh_start DESC
  limit 100;
  

• 示例2：查看当前实例，过去1天所有的刷新任务。

  --查看实例内过去1天所有的刷新记录
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
      serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where refresh_start >= CURRENT_DATE - INTERVAL '1 day'

• 示例3：查看指定表过去一天的刷新记录。

  --查看某个表过去一天的刷新记录
  SELECT 
  query_id,
      refresh_mode,
      status,
      refresh_start,
      duration,
      refresh_latency / 1000 AS refresh_latency_second,
       serverless_allocated_cores,
      queue_time_ms::bigint / 1000 AS queue_time_second,
      serverless_resource_used_time_ms::bigint / 1000 AS serverless_resource_used_time_second
  FROM hologres.hg_dynamic_table_refresh_history where schema_name='<scehma_name>' and dynamic_table_name='<dynamic_table>' and  refresh_start >= CURRENT_DATE - INTERVAL '1 day'

-- 获取cron_job_name
SELECT property_value AS cron_job_name
FROM hologres.hg_dynamic_table_properties
WHERE dynamic_table_name = '<dt_name>' AND property_key = 'cron_job_name';

-- 通过cron_job_name查询Cron任务执行记录
SELECT *
FROM hologres.hg_user_cron_tasks
WHERE jobname = '<cron_job_name>'
ORDER BY start_time DESC;

通过慢Query日志查看

您可以通过慢Query日志查看Dynamic Table的刷新任务，Command Type为refresh。通过慢Query日志查看详情，请参见慢Query日志查看与分析。

表级别设置

创建Dynamic Table表时，设置刷新任务超时时长，对该表的所有刷新任务都生效。以下SQL代码以tpch_10g公共数据集为例，在执行之前，请确保已成功导入tpch_10g公共数据集。具体操作，请参见新建公共数据集导入任务。

--创建表时设置刷新任务超时时间。
CREATE DYNAMIC TABLE tpch_q1_batch
  WITH (
    refresh_mode='full',
    auto_refresh_enable='true',
    full_auto_refresh_interval='1 hours',
    refresh_guc_statement_timeout='30 mins'--刷新超时时间为30 mins
       ) 
AS
  SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) asAScount_order
FROM
        hologres_dataset_tpch_10.lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus;

Session级别设置

手动刷新时，可通过Session级GUC设置超时时长，SQL示例如下。

SET statement_timeout = <time>;
refresh DYNAMIC TABLE <dynamic_schema_name.dynamic_table_name>;

关于更多设置详情，请参见修改活跃Query超时时间。

通过 refresh with option 设置

手动刷新时，也可通过refresh ... with (refresh_guc_statement_timeout = '...')为当次刷新指定超时时间。示例如下。

REFRESH DYNAMIC TABLE <schema_name.table_name> WITH (
    refresh_guc_statement_timeout = '30 mins'
);

3.1新语法创建的Dynamic Table

-- 获取query_job_id
SELECT query_job_id
FROM hologres.hg_dynamic_table_refresh_log('<dt_name>')
WHERE status = 'Running';

-- 根据query_job_id取消对应的刷新任务
SELECT hologres.hg_internal_cancel_query_job('<query_job_id>');

ALTER DYNAMIC TABLE [ IF EXISTS ] [<schema>.]<table_name> SET (auto_refresh_enable=false);

3.0语法创建的Dynamic Table

-- pid为刷新任务ID，可通过查看刷新任务获取query_id
SELECT pg_cancel_backend(<pid>);

ALTER DYNAMIC TABLE [IF EXISTS ] [<schema>.]<table_name> set (auto_refresh_enable=false);