实时数仓Hologres：数据分层存储

如果是非分区表，可以通过SET_TABLE_PROPERTY来设置表的存储策略。支持的选项有：

• hot（热存储）。

• cold（冷存储）。

例如将tbl1设置为使用冷存存储，代码如下：

-- 建表时指定存储策略为冷存储
BEGIN;
CREATE TABLE tbl1 (
 "id" int NOT NULL,
 "name" text NOT NULL
);
CALL set_table_property('tbl1', 'storage_mode', 'cold');
COMMIT;

Hologres支持建表后修改存储介质。例如将表tbl1的存储介质改为热存存储，系统会异步的将数据搬迁到热存存储。示例如下：

-- 建表后修改存储介质为热存储
CALL set_table_property('tbl1', 'storage_mode', 'hot');

分区表也可以通过SET_TABLE_PROPERTY来设置表的存储策略，分区子表默认继承父表的存储属性，也可以分别设置父表和子表的存储策略。支持的选项有：

• hot（热存储）。

• cold（冷存储）。

例如将分区父表（tbl2）设置为使用冷存存储，之后该分区父表（tbl2）对应的分区子表（tbl2_v1）都会使用冷存进行数据存储，代码如下：

-- 建表时指定存储策略为冷存储
BEGIN;
CREATE TABLE tbl2(
  c1 text NOT NULL,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'storage_mode', 'cold');
CREATE TABLE tbl2_v1 PARTITION OF tbl2 FOR VALUES IN ('v1');
COMMIT;

Hologres支持在建表后修改存储介质。例如将分区父表tbl2的存储介质改为热存存储，系统会将该分区父表对应所有分区子表的数据都异步的搬迁到热存存储。示例如下：

-- 建表后修改存储策略为热存储介质
CALL set_table_property('tbl2', 'storage_mode', 'hot');

如果您需要单独设置某个分区子表使用冷存存储，则需要修改该分区子表的storage_mode属性。示例如下：

-- 创建多个分区子表

CREATE TABLE tbl2_v2 PARTITION OF tbl2 FOR VALUES IN ('v2');
CREATE TABLE tbl2_v3 PARTITION OF tbl2 FOR VALUES IN ('v3');

-- 查询表属性，当前默认继承父表的热存属性

SELECT * FROM hg_table_storage_status('public', 'tbl2');

-- 修改分区子表为冷存存储

CALL set_table_property('tbl2_v3', 'storage_mode', 'cold');
                

可以通过调用hg_table_storage_status函数，查询表的存储状态。hg_table_storage_status仅显示数据存储大小，不包含Meta存储大小。使用方法如下：

SELECT * FROM hg_table_storage_status('<schema_name>', '<table_name>');

返回结果如下：

示例如下：

-- 非分区父表
SELECT * FROM hg_table_storage_status('public', 'tbl1');--返回单位是Byte
 table_name | hot_size |   cold_size   | status
------------+----------+---------------+--------
 tbl1       |  145643  |      3685     | transferring

-- 分区父表
SELECT * FROM hg_table_storage_status('public', 'tbl2');--返回单位是Byte
   table_name    | hot_size | cold_size | status
-----------------+----------+-----------+--------
 tbl2_2022062222 |        0 |         0 | hot
 tbl2_2022062221 |     1125 |         0 | hot
 tbl2_2022062220 |     1245 |         0 | hot
 tbl2_2022062219 |     1358 |         0 | hot
 tbl2_2022062218 |        0 |      1875 | cold
 tbl2_2022062217 |        0 |      1143 | cold
 tbl2_2022062216 |        0 |      1299 | cold

查询所有分区：

SELECT parent_table_name,count(*) AS partition_cnt, 
       sum(hot_storage_size)/1024/1024/1024 AS hot_size_gb 
FROM hologres.hg_table_info
WHERE type = 'PARTITION' AND collect_time::DATE = CURRENT_DATE - interval '1 day'
GROUP BY parent_table_name
ORDER BY hot_size_gb DESC;

查询特定分区访问频次：

SELECT a.table_name,
      (a.total_read_count - b.total_read_count) as read_count,
      (a.total_write_count - b.total_write_count) as write_count,
       a.hot_storage_size
FROM (SELECT * FROM hologres.hg_table_info
      WHERE type = 'PARTITION'
      AND parent_table_name = '${p_table_name}'
      AND collect_time::DATE = CURRENT_DATE - interval '1 day') a
JOIN
     (SELECT * FROM hologres.hg_table_info
     WHERE type = 'PARTITION'
     AND parent_table_name = '${p_table_name}'
     AND collect_time::DATE = CURRENT_DATE - interval '${days} day') b
ON a.table_name = b.table_name
ORDER BY table_name DESC;