冷熱資料自動遷移

版本限制

核心版本為v7.0.6.5及以上的AnalyticDB PostgreSQL 7.0版執行個體。

文法和樣本

CREATE TABLE [IF NOT EXISTS] tbl_name
(create_definition,...)
[WITH(tiered_storage_cooldown_policy='XXX')]
PARTITION BY {LIST|RANGE} (PARTITION columns)
[distribution_options]

CREATE TABLE tiered_storage_partition1 (a INT, b DATE) WITH(tiered_storage_cooldown_policy='TTL:2')  PARTITION BY LIST (b)
(
    VALUES ('2024-06-10'),
    VALUES ('2024-06-07'),
    VALUES ('2024-06-06')
);

CREATE TABLE tiered_storage_partition1 (a INT, b DATE) WITH(tiered_storage_cooldown_policy='HPN:3')  PARTITION BY LIST (b)
(
    VALUES ('2024-06-10'),
    VALUES ('2024-06-07'),
    VALUES ('2024-06-06')
);

ALTER TABLE tbl_name SET(tiered_storage_cooldown_policy='XXX');    --修改遷移策略
ALTER TABLE tbl_name SET(tiered_storage_cooldown_policy='');       --刪除遷移策略

ALTER TABLE test_tbl SET(tiered_storage_cooldown_policy='HPN:5'); 

調度策略

AnalyticDB for PostgreSQL支援兩種自動冷熱遷移策略：固定熱分區數HPN（Hot Partition Number）和固定保留時間TTL（Time To Live）。兩種策略均適用於RANGE分區和LIST分區。

'HPN:3' 
'HPN:0'

'HPN:-3' 
'hpn:3'
'HPN: 3'
'HPN:3 '

'TTL:3' 
'TTL:3 YEAR'
'TTL:3 MONTH'
'TTL:3 DAY'

'TTL:-3' 
'TTL:3 day'
'TTL:3DAY'
'TTL:3 DAY '

調度參數

AnalyticDB for PostgreSQL冷熱資料自動遷移功能支援設定最大並行調度器數量、調度器觸發間隔、調度器運行視窗等營運參數，以管理後台調度器的遷移行為。

您可以通過SHOW命令查看現有參數取值，如有修改參數取值需求請提交工單。修改參數無需重啟，並在下次觸發調度時生效。

最大並行調度器數量

您可以執行SHOW tiered_storage.adb_tiered_storage_max_worker查看後台執行轉冷任務的最大並行數。對於多個分區數量進行轉冷的表，並行度越大，同時轉冷的表數目越多，轉冷速度越快；但是增大並行度並不能改變單個表的轉冷速度。該參數類型為INT，預設值為5。設定過大的並行度可能導致轉冷進程消耗過多的CPU資源。

調度器觸發間隔

您可以執行SHOW tiered_storage.adb_tiered_storage_worker_launch_interval查看後台調度器執行轉冷任務的調度時間間隔。調度器在完成一次冷熱調度後，需要滿足調度間隔才會進行下一次調度。該參數類型為INT，預設值為600（單位：s），即每十分鐘觸發一次。設定過大的觸發間隔可能導致總體轉冷速度變慢，設定過小的觸發間隔可能耗費過多的系統資源。

調度器運行視窗

您可以執行SHOW tiered_storage.adb_worker_time_window_str查看後台調度器每日允許執行調度任務的時間段。該參數類型為STRING，預設值為空白，代表每日00:00:00~23:59:59的時間視窗都可運行。參數格式要求為"HH:MM-HH:MM"，比如"02:00-04:15"，代表每日執行調度任務的開始時間和結束時間，非法的參數不會生效。已經處於調度轉冷中的調度任務不會因為超出時間窗而自動停止運行。

使用樣本

• 設定按月分區的分區表固定保留2個月的熱資料，其餘分區為冷資料。在淩晨兩點到四點進行自動調度。設定參數tiered_storage.adb_worker_time_window_str為'02:00-04:00'。

  CREATE TABLE tiered_storage_partition4 (a INT, b DATE) WITH(tiered_storage_cooldown_policy='HPN:2') PARTITION BY RANGE(b)
  (
      START ('2023-11-01'::date) END ('2023-12-01'::date),
      START ('2023-12-01'::date) END ('2024-01-01'::date),
      START ('2024-01-01'::date) END ('2024-02-01'::date),
      START ('2024-02-01'::date) END ('2024-03-01'::date)
  );

  在上述策略下，分區表按日期欄位b排序，分區值最大的2個區保留為熱分區，其他分區會自動轉冷。在業務上可以在每月1日02:00之前產生新的分區，這樣在02:00開始調度時會將新的分區確認為熱分區。

• 設定按日分區的分區表固定保留90天的資料作為熱資料，超過90天的分區轉為冷資料，在23:00到23:59進行自動調度。

  LIST分區

  RANGE分區

  CREATE TABLE tiered_storage_partition1 (a INT, b DATE) WITH(tiered_storage_cooldown_policy='TTL:90')  PARTITION BY LIST (b)
  (
      VALUES ('2024-06-10'),
      VALUES ('2024-06-09'),
      VALUES ('2024-06-08'),
      VALUES ('2024-06-07'),
      VALUES ('2024-06-06'),
      ...    --替換為實際的分區日期，這裡進行了省略
      VALUES ('2023-11-01')
  );

  CREATE TABLE tiered_storage_partition3 (a INT, b DATE) WITH(tiered_storage_cooldown_policy='TTL:90') PARTITION BY RANGE(b)
  (
      START ('2023-11-01'::date) END ('2023-12-01'::date),
      START ('2023-12-01'::date) END ('2024-01-01'::date),
      START ('2024-01-01'::date) END ('2024-02-01'::date),
      ...  --替換為實際的分區日期
      START ('2024-05-01'::date) END ('2024-06-01'::date)
      
  );

在上述策略下，資料庫每日會把分區取值或者分區上界時間到目前時間超過90天的分區認定為冷資料，會自動遷移到冷資料，達到保留90天熱資料的目的。

常見問題

冷熱資料自動遷移使用過程中，如果遇到其他問題，請提交工單或者進入AnalyticDB for PostgreSQL官網支援群（群號：11700737）提交問題。