PolarDB PostgreSQL版支援冷熱資料階層式存放區功能,使用OSS等更低成本的儲存介質,將冷熱資料進行階層式存放區。將訪問頻率和更新頻率低的資料轉存到OSS中,可以有效降低儲存成本。本文介紹了冷資料階層式存放區的優勢和技術原理。
功能優勢
當開啟冷資料階層式存放區後,單位儲存的價格相較於ESSD PL1降低了約90%。詳細定價規則請參見冷資料階層式存放區計費規則。
PolarDB PostgreSQL版的冷資料階層式存放區功能具備易用性好、靈活度高、效能優良、覆蓋情境廣泛、安全可靠的特點:
易用性好
SQL透明:資料庫的SQL操作完全透明,無需進行任何改寫,支援OSS表聯集查詢;儲存到OSS上的資料也支援進行增、刪、改、查操作。
索引透明:支援針對索引、物化視圖等設定歸檔策略,操作透明。
靈活度高
支援多種階層式存放區策略,包括按照表維度進行歸檔(同時支援索引、物化視圖)、按分區維度進行歸檔、按指定LOB欄位進行歸檔。並且支援不同策略的組合,可以根據業務使用方式進行靈活配置。
效能良好
查詢效能良好,採用了三層緩衝設計:UDF內邏輯對象緩衝+頁面共用快取+檔案持久化緩衝,有效減少了對OSS的訪問次數,從而將OSS的讀寫延遲影響降到最低。
覆蓋情境廣泛
支援通用、時空、時序資料的歸檔,例如將時空軌跡、高精度地圖等資料歸檔,大幅降低儲存成本。
安全可靠
OSS冷存資料同樣支援備份恢複功能,在降低備份成本的同時還保障了高可用能力。
該功能支援版本為PolarDB PostgreSQL版14.10.21.0及以上版本。
冷存後的資料訪問延遲會有所增加,且不建議頻繁更新或寫入,您可以選擇性地將資料存放區在OSS中。
支援的地區
地區 | 地區 |
中國 | 華東1(杭州) |
華東2(上海) | |
華南1(深圳) | |
華南3(廣州) | |
華北2(北京) | |
華北3(張家口) | |
華北6(烏蘭察布) | |
中國(香港) | |
亞太地區 | 新加坡 |
印尼(雅加達) | |
馬來西亞(吉隆坡) |
技術原理
PolarDB PostgreSQL版 實現的冷熱階層式存放區功能可以將OSSObject Storage Service直接作為資料庫的一種儲存介質,儲存價格低廉。PolarDB PostgreSQL版也可以與Block Storage聯合使用,根據不同維度自動將冷熱資料階層式存放區,既保持了增刪改查的SQL全部透明,又通過多級緩衝保障了效能的最少衰減。
資料冷存的幾種模式
資料冷存是指將資料表/索引/物化視圖轉存入OSS,轉存後不再佔用或者極少量佔用資料庫雲端硬碟儲存空間,從而大大降低資料庫的儲存成本。資料冷存後,所有的增刪改查SQL都透明,無需做任何修改。
PolarDB支援的資料冷存模式包含以下三種:
將整表資料存放區在OSS中,索引儲存在雲端硬碟中,降本後還能有良好的訪問效能;
只將表中的LOB欄位、輔助性欄位隔離儲存區 (Isolated Storage)在OSS中;
只將分區表中的到期子分區儲存在OSS中,熱分區儲存在雲端硬碟中,這是比較典型的冷熱分層模式。
資料冷熱分層情境
由於OSS訪問延遲是雲端硬碟介質訪問延遲的幾百倍,資料一旦冷存處理後,其訪問效能會降低。為了降低成本將資料冷存處理,但對冷資料依舊有低頻訪問、更新的需求,同時對訪問、更新的效能也有一定要求。為了滿足這方面的需求,PolarDB PostgreSQL版除了支援低頻訪問的資料對象冷存處理外,還支援兩種冷熱階層式存放區情境: