云原生数据库 PolarDB：冷数据分层存储的开启和使用

普通表/索引/物化视图冷存

• 将已有数据表/索引/物化视图冷存。

  ALTER  TABLE  tblname  SET  TABLESPACE OSS;
  ALTER  INDEX  idxname  SET TABLESPACE OSS;
  ALTER Materialized View mvname SET TABLESPACE OSS;

  说明

  在对表执行ALTER TABLE tblname SET TABLESPACE OSS时，默认只会将表本身的数据转存至OSS，表上建立的索引需要单独再执行ALTER INDEX才能将索引数据也转存至OSS。

• 直接在OSS存储中新建数据表/索引/物化视图。

  • 方式一：CREATE时指定TABLESPACE OSS。

    CREATE TABLE tblname (...) TABLESPACE OSS;
    CREATE TABLE tblname(...) TABLESPACE OSS as SELECT ...;
    CREATE INDEX idxname ON tblname(columnname) TABLESPACE OSS;
    CREAE INDEX idxname ON tblename USING GiST(columnname) TABLESPACE OSS;
    CREATE MATERIALIZED VIEW table_name TABLESPACE OSS AS query [ WITH [ NO ] DATA ];

  • 方式二：设置默认表空间为OSS表空间。

    SET default_tablespace = 'oss';
    CREATE  TABLE  tblname  (...) ;
    CREATE  INDEX  idxname ON  tblname(columnname);
    CREAE  INDEX  idxname  ON tblename USING GiST(columnname);
    CREATE MATERIALIZED VIEW  table_name  AS query [ WITH [ NO ] DATA ];

    说明

    这种方式设置默认表空间为OSS后，所有的创建表、索引、物化视图操作都会直接将对象建立在OSS存储上。如果不需要创建冷存对象时，需要将默认表空间进行重置：

    RESET default_tablespace;

LOB字段独立冷存

LOB字段是指PolarDB PostgreSQL版中的blob、text、json、jsonb、array类型以及时空类型字段，这些类型往往单个对象较大，占用的存储空间较多，但更新频率不高。为了支持这类场景的降本需求，PolarDB PostgreSQL版冷数据分层存储功能支持将大对象字段单独进行冷存，其余字段的存储保持不变。LOB字段支持SQL一键冷存，具体使用方式如下：

--创建带有大对象字段的表
CREATE TABLE  test_large_object(id serial, val text);

--将大对象字段独立冷存
ALTER TABLE test_large_object alter column val set (storage_type='oss');

--写入大对象数据，此时写入的text字段内容存储在OSS上
INSERT INTO test_large_object(val) VALUES((SELECT string_agg(random()::text, ':') FROM generate_series(1, 10000)));

分区表冷存

分区表是一种比较常见的冷存对象，在冷存功能使用上有一些特殊的方式。

• 全部分区表冷存。

  • 方式一：依次将已经存在的分区子表转为冷存。

    --prt1为分区表（父表）
    --prt1_p1为prt1的子表
    --prt2_p2为prt1的另一张子表
    --对所有的子表执行alter操作
    ALTER  TABLE  prt1_p1  SET  TABLESPACE OSS;
    ALTER  TABLE  prt1_p2  SET  TABLESPACE OSS;

  • 方式二：将分区表主表直接创建在OSS tablespace上。

    CREATE TABLE prt1 (a int, b int) PARTITION BY RANGE(a) TABLESPACE OSS;
    
    --分区子表默认都继承了父亲tablespace属性，直接将表创建在oss tablespace上
    CREATE TABLE prt1_p1 PARTITION OF prt1 FOR VALUES FROM (0) TO (250);
    CREATE TABLE prt1_p2 PARTITION OF prt1 FOR VALUES FROM (250) TO (500);

  • 方式三：设置默认表空间为OSS表空间后再创建分区表。

    SET default_tablespace = 'oss';
    CREATE  TABLE  prt1 (a int, b int) PARTITION BY RANGE(a);
    CREATE TABLE prt1_p1 PARTITION OF prt1 FOR VALUES FROM (0) TO (250);
    CREATE TABLE prt1_p2 PARTITION OF prt1 FOR VALUES FROM (250) TO (500);

• 部分分区子表冷存：

  当只需要将已过期（低频访问）的分区子表转为冷数据时，可以直接对子表进行更换表空间操作。未过期（高频访问）的分区子表无需任何改变，仍存储在数据库云盘中，这样既不影响分区表的访问性能，又降低了存储成本。

  --prt1为分区表（父表）
  --prt1_p1为prt1的未过期子表
  --prt2_p2为prt1的已过期子表
  --对已过期子表执行alter操作
  ALTER  TABLE  prt1_p2  SET  TABLESPACE OSS;

数据冷热分层

冷数据物化缓存

您可以通过修改polar_smgrcache_size参数来设置冷数据物化缓存的大小。

1. 登录PolarDB控制台。

2. 单击目标集群ID，进入集群基本信息页。

3. 在左侧导航栏选择配置与管理 > 参数配置，找到polar_smgrcache_size参数，单击修改参数。

4. 参考以下示例设置polar_smgrcache_size参数。

   设置值	缓存大小
   0	0（缓存被关闭）
   1	1 GB
   2	2 GB
   128	128 GB（当前支持的最大值）

5. 单击左上角的提交修改，在弹出的保存改动对话框中，单击确定。修改该参数后，集群会重启。

开启冷数据物化缓存后，您可以通过如下方式查询缓存使用情况：

-- 创建扩展
CREATE extension polar_monitor;

-- 查询物化缓存基本使用情况
SELECT * FROM polar_smgrcaches;

-- 字段说明：
  -- smgrcache：缓存id
  -- relfilenode：该缓存对应的表文件
  -- relchunknumber：该缓存在表文件中的位置
  -- nblocks：该缓存的大小
  -- dirty：是否为脏
  -- usagecount：使用计数
  -- pinning_backends：引用计数

-- 强制将物化缓存刷到OSS中
SELECT polar_flush_smgrcache(); 

-- 强制淘汰物化缓存
SELECT polar_evict_smgrcache(); 

冷数据的访问

冷数据增删改查

冷存数据（即已经存储在OSS表空间中的对象）做增删改查的SQL都是透明的，无需进行任何改动。

冷数据恢复

数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。

冷数据清除

删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何改动。

DELETE  FROM tblname WHERE ...;
TRUNCATE  TABLE  tblname;
DROP  TABLE  tblname;
...