ApsaraDB RDS：RDS PostgreSQL通用雲端硬碟資料歸檔

功能簡介

RDS PostgreSQL執行個體利用資料表空間和外部檔案系統來實現對OSS的訪問，允許使用者通過DDL完成資料在ESSD和OSS之間的轉換。啟用資料歸檔功能的RDS PostgreSQL執行個體會在資料目錄之外增加一個冷儲存目錄/cold-data，並添加該目錄對應的資料表空間rds_oss。rds_oss資料表空間中的資料存放在OSS中，pg_default資料表空間中的資料存放在ESSD中。

開啟RDS PostgreSQL資料歸檔功能後，可通過執行以下DDL語句，實現資料在ESSD和OSS之間的轉換（適用於普通表和分區表子表）。轉換時，需要分別對錶和索引資料進行處理。

-- 歸檔
ALTER TABLE $tableName SET tablespace rds_oss;
ALTER INDEX $indexName SET tablespace rds_oss;
-- 取回
ALTER TABLE $tableName SET tablespace pg_default;
ALTER INDEX $indexName SET tablespace pg_default;

功能優勢

開啟用RDS PostgreSQL資料歸檔功能後，利用OSS的海量、安全、低成本和高可靠特性，您可以在RDS PostgreSQL上實現極低成本、無限容量的歸檔資料存放區，並支援低頻資料訪問。相較於ESSD PL1雲端硬碟，資料存放區成本下降了80%。

適用範圍

• 引擎：RDS PostgreSQL

• 大版本：12或以上版本。

• 小版本：20240530或以上，如需升級核心小版本，請參見升級核心小版本。

  說明

  當執行個體大版本為15時，20240229及之後的小版本均支援資料歸檔功能。

• 產品系列：基礎系列、高可用系列。

• 產品類型：標準版、倚天版。

• 儲存類型：通用雲端硬碟。

• 執行個體計費方式：訂用帳戶、隨用隨付。

• 執行個體規格：CPU核心數大於等於8核。

• 地區：目前不支援韓國（首爾）、阿聯酋（杜拜）和英國（倫敦）。

使用限制

• 開啟資料歸檔後，會影響執行個體的備份及部分功能：

  • 不支援秒級備份。

  • 不支援跨地區備份。

  • 在進行庫表恢複時，只能恢複所選資料庫中未進行資料歸檔的資料。

  • 在進行備份組下載時，所下載的備份組中僅包含尚未進行資料歸檔的資料。

  說明

  已開啟資料歸檔的執行個體，相較於未開啟時，由於需要恢複資料歸檔的資料，備份/恢複的時間長度會增加。

• 表或索引資料轉換到OSS儲存之前，需要進行資料清理。OSS的儲存效能與ESSD存在較大差距，導致OSS資料表空間的autovacuum效率較低。為了避免長時間的autovacuum對整個執行個體的效能造成負面影響，在設計上要求轉入的歸檔表的所有頁面（page）都應設定為all_visible和all_frozen，以避免在歸檔資料表空間發生autovacuum。如果需要清理歸檔資料，建議使用如下方式：

  VACUUM (FREEZE) table_name;

  可以通過增加VERBOSE選項來列印清理過程的詳細資料，有助於定位原因，從而實現完全的清理。

  • 當執行個體中存在長事務以及複製槽時，可能需要保留部分事務ID，無法做到完全清理。

  • 不同版本的RDS PostgreSQL執行個體具有不同的最佳化策略，因此可以通過列印詳細資料進行分析，明確指定參數以實現完全的清理。例如：

    VACUUM (FREEZE, INDEX_CLEANUP on) table_name;

    • RDS PostgreSQL 14及以上，建議設定PROCESS_TOAST，允許進行TOAST表的清理操作。

    • RDS PostgreSQL 16及以上，建議設定PROCESS_MAIN，允許進行主表的清理操作。

  VACUUM的更多資訊請參見VACUUM。

注意事項

• 進行資料歸檔操作前需要對目標表進行VACUUM操作。

• 受限於OSS的訪問延遲，相比於ESSD儲存，冷資料表的資料訪問會具有更大的延遲（10ms層級）。

  說明

  如果歸檔到OSS的表訪問速度很快，這可能是由於資料庫Buffer Pool或作業系統Page Cache中存在緩衝所致。

• OSS的讀取會佔用一部分記憶體，同時訪問OSS側資料將佔用一定比例的ECS的網路頻寬資源，因此需要合理調整資料轉換和資料訪問的速度和頻率。

計費

公測期間免費

公測期間免費，時間自2024年06月20日起，至2024年07月25日結束。公測到期日結束後，會根據具體的雲端硬碟OSS歸檔資料量進行收費。

開啟和關閉資料歸檔功能

開啟資料歸檔功能

• 新購執行個體時，在執行個體購買頁開啟資料歸檔功能。

• 已有的儲存類型為通用雲端硬碟的執行個體，可以在執行個體詳情頁開啟資料歸檔功能。

關閉資料歸檔功能

1. 訪問RDS執行個體列表，在上方選擇地區，然後單擊目標執行個體ID。

2. 在執行個體詳情頁面，在基礎資訊地區單擊通用雲端硬碟開關設定，在冷存配置項中關閉資料歸檔功能的開關。

   重要

   • 資料歸檔OSS功能的關閉過程並不是無損操作，會有30s左右的閃斷。

   • 資料歸檔OSS功能關閉時要求OSS中沒有歸檔表資料，如果OSS中有歸檔表資料則不允許關閉，需要先通過DDL將歸檔錶轉為線上表或者將歸檔表DROP掉，再關閉資料歸檔OSS功能。

查看歸檔資料

1. 訪問RDS執行個體列表，在上方選擇地區，然後單擊目標執行個體ID。

2. 在左側導覽列，單擊冷存管理。

3. 在歸檔層設定頁面，查看已歸檔的資料。