全部產品
Search
文件中心

PolarDB:冷資料階層式存放區

更新時間:Dec 05, 2024

PolarDB PostgreSQL版支援冷熱資料階層式存放區功能,使用OSS等更低成本的儲存介質,將冷熱資料進行階層式存放區。將訪問頻率和更新頻率低的資料轉存到OSS中,可以有效降低儲存成本。本文介紹了冷資料階層式存放區的優勢和技術原理。

功能優勢

開啟冷資料階層式存放區後,單位儲存的價格相較於ESSD PL1降低了約90%。詳細定價規則請參見冷資料階層式存放區計費規則

PolarDB PostgreSQL版的冷資料階層式存放區功能具備易用性好、靈活度高、效能優良、覆蓋情境廣泛、安全可靠的特點:

  • 易用性好

    • SQL透明:資料庫的SQL操作完全透明,無需進行任何改寫,支援OSS表聯集查詢;儲存到OSS上的資料也支援進行增、刪、改、查操作。

    • 索引透明:支援針對索引、物化視圖等設定歸檔策略,操作透明。

  • 靈活度高

    • 支援多種階層式存放區策略,包括按照表維度進行歸檔(同時支援索引、物化視圖)、按分區維度進行歸檔、按指定LOB欄位進行歸檔。並且支援不同策略的組合,可以根據業務使用方式進行靈活配置。

  • 效能良好

    • 查詢效能良好,採用了三層緩衝設計:UDF內邏輯對象緩衝+頁面共用快取+檔案持久化緩衝,有效減少了對OSS的訪問次數,從而將OSS的讀寫延遲影響降到最低。

  • 覆蓋情境廣泛

    • 支援通用、時空、時序資料的歸檔,例如將時空軌跡、高精度地圖等資料歸檔,大幅降低儲存成本。

  • 安全可靠

    • OSS冷存資料同樣支援備份恢複功能,在降低備份成本的同時還保障了高可用能力。

說明
  • 該功能支援版本為PolarDB PostgreSQL版14.10.21.0及以上版本。

  • 冷存後的資料訪問延遲會有所增加,且不建議頻繁更新或寫入,您可以選擇性地將資料存放區在OSS中。

支援的地區

地區

地區

中國

華東1(杭州)

華東2(上海)

華南1(深圳)

華南3(廣州)

華北2(北京)

華北3(張家口)

華北6(烏蘭察布)

中國(香港)

亞太地區

新加坡

印尼(雅加達)

馬來西亞(吉隆坡)

技術原理

PolarDB PostgreSQL版 實現的冷熱階層式存放區功能可以將OSSObject Storage Service直接作為資料庫的一種儲存介質,儲存價格低廉。PolarDB PostgreSQL版也可以與Block Storage聯合使用,根據不同維度自動將冷熱資料階層式存放區,既保持了增刪改查的SQL全部透明,又通過多級緩衝保障了效能的最少衰減。

image.png

資料冷存的幾種模式

資料冷存是指將資料表/索引/物化視圖轉存入OSS,轉存後不再佔用或者極少量佔用資料庫雲端硬碟儲存空間,從而大大降低資料庫的儲存成本。資料冷存後,所有的增刪改查SQL都透明,無需做任何修改。

PolarDB支援的資料冷存模式包含以下三種:

  • 將整表資料存放區在OSS中,索引儲存在雲端硬碟中,降本後還能有良好的訪問效能;

  • 只將表中的LOB欄位、輔助性欄位隔離儲存區 (Isolated Storage)在OSS中;

  • 只將分區表中的到期子分區儲存在OSS中,熱分區儲存在雲端硬碟中,這是比較典型的冷熱分層模式。

image (2).png

資料冷熱分層情境

由於OSS訪問延遲是雲端硬碟介質訪問延遲的幾百倍,資料一旦冷存處理後,其訪問效能會降低。為了降低成本將資料冷存處理,但對冷資料依舊有低頻訪問、更新的需求,同時對訪問、更新的效能也有一定要求。為了滿足這方面的需求,PolarDB PostgreSQL版除了支援低頻訪問的資料對象冷存處理外,還支援兩種冷熱階層式存放區情境:

  • 通過分區表將部分已到期的子錶轉入冷存,部分熱訪問的子表依舊保留在資料庫雲端硬碟中,實現資料冷熱階層式存放區,既不影響查詢效能,又降低儲存成本。具體可參考分區表冷存

  • 在資料庫雲端硬碟中提供冷存對象的物化緩衝,將頻繁讀取、頻繁更新的部分資料緩衝在雲端硬碟中,OSS介質中保留了資料的完整性,資料在物化緩衝中的生命週期由訪問頻率決定,這樣可以達到效能優良但儲存成本更低的效果。具體可參考冷資料物化緩衝