冷資料歸檔 - PolarDB

冷資料通常指在叢集中某些資料庫表中幾乎沒有更新且讀取頻率非常低的資料。如果您有降低成本的需求，可以使用提供的冷資料歸檔功能，將這部分資料轉存至低成本的Object Storage Service服務（OSS），以降低資料存放區成本。

技術原理

PolarDB MySQL版支援將資料歸檔為CSV格式或ORC格式。詳細原理如下所示：

您可以採用手動或自動兩種方式進行資料歸檔。歸檔後的資料格式將轉變為CSV格式或ORC格式，並分成多個檔案儲存體在OSS上。同時，PolarDB儲存空間內的這部分資料將被自動刪除，儲存費用也將隨著儲存空間容量的降低而減少。隨後，叢集節點可以通過阿里雲內網訪問OSS上的資料。更多資訊，請參見手動歸檔冷資料與自動歸檔冷資料。

說明

歸檔分區表時，若您的核心小版本小於8.0.2.2.33，請前往配額中心，根據配額ID polardb_mysql_hybrid_partition找到配額名稱，在對應的操作列單擊申請來開通該功能。

歸檔格式對比

歸檔冷資料時，您可以根據以下對比評估選擇適合的格式進行歸檔。

說明

歸檔普通表、OSS外表以及分區表均存在相關限制。請在進行歸檔操作之前仔細閱讀，以避免對您的業務產生影響。
冷資料歸檔後，資料將儲存在系統預設的Object Storage Service服務（OSS）上，而非儲存在您的OSS中。目前，僅支援在PolarDB控制台上查看歸檔後的資料列表。
分區表歸檔方式說明：
- 分區表歸檔：是將分區表中的某個分區就地歸檔。資料還在原來的表中，只是該分區的儲存介質從PolarDB（熱儲存）換成了OSS（冷儲存），表本身變成了包含熱/冷分區的混合分區表。
- 分區表歸檔至OSS外表：是將分區表中的某個分區的資料移出，存放到一個全新且獨立的OSS外表中。原表中的這個分區會被刪除。

對比項	CSV	ORC	X-Engine
開源格式	是	是	否
歸檔方式	手動歸檔：歸檔普通表分區表歸檔至OSS外表歸檔分區表自動歸檔：歸檔分區表	手動歸檔：歸檔普通表歸檔分區表	手動歸檔：歸檔為X-Engine引擎格式自動歸檔：歸檔分區表為X-Engine引擎格式
歸檔速度	快說明只支援使用單線程方式歸檔資料。	慢說明只支援使用單線程方式歸檔資料。	快說明資料歸檔至PolarDB儲存空間中。
查詢速度	較差。在沒有索引且使用串列查詢的情況下，查詢效能約為InnoDB儲存引擎的五分之一到十分之一。行存節點上，較ORC格式快。說明支援使用單線程和多線程兩種方式讀取資料。	較差。在沒有索引且使用串列查詢的情況下，查詢效能約為InnoDB儲存引擎的五分之一到十分之一。適合通過單獨的列存節點進行AP查詢。說明只支援使用單線程方式讀取資料。	快，相較於InnoDB引擎，速度慢約30%。這是因為資料存放區在PolarDB儲存空間中，其訪問速度明顯快於OSS冷資料。行存表格式適用於TP查詢，而列存表格式則適合於使用列存節點進行AP查詢。
支援事務	否	否	是
索引能力	否	否	是
歸檔後的資料修改方式	OSS上的歸檔表唯讀，需要將OSS資料導回至PolarDB儲存空間，再進行修改。		歸檔後的表能正常執行DML操作。
佔用的儲存空間	與沒有索引的InnoDB引擎中的表佔用的儲存空間一致。	相同資料量的情況下，佔用的儲存空間為CSV格式檔案佔用的儲存空間的45%。	相對於InnoDB引擎，儲存空間能壓縮到原來10%至50%，具體壓縮比例與資料特徵有關。
備份恢複	不支援。說明 Object Storage Service能夠提供99.9999999999%（12個9）的資料持久性及99.995%的資料可用性，對冷資料幾乎不存在丟失風險。在進行PolarDB備份操作時，不會對OSS上已歸檔的冷資料進行備份，因此不支援通過備份進行庫表恢複、備份恢複或按還原時間點操作。		支援。
歸檔後影響	歸檔普通表歸檔後，無需修改表的訪問方式即可查詢到歸檔資料。分區表歸檔至OSS外表歸檔後，需要修改表的訪問方式才可查詢到歸檔資料，即查詢指定的歸檔表。歸檔分區表歸檔後的表為混合分區表，具體查詢方式請參考查詢混合分區。	歸檔普通表歸檔後，無需修改表的訪問方式即可查詢歸檔資料。歸檔分區表歸檔後的表為混合分區表，具體查詢方式請參考查詢混合分區。	歸檔後，無需修改表的訪問方式即可查詢歸檔資料。

適用範圍

歸檔為CSV格式
- 產品系列為叢集版時，核心版本需為如下版本之一：
  - MySQL 8.0.1且修訂版本為8.0.1.1.47及以上。
  - MySQL 8.0.2且修訂版本為8.0.2.2.10及以上。
- 產品系列為多主叢集（Limitless）時，核心版本需為8.0.1.0.13及以上。
歸檔為ORC格式
- 產品系列為叢集版時，修訂版本需為8.0.2.2.30及以上。
- 產品系列為多主叢集（Limitless）時，修訂版本需為8.0.2.2.30及以上。
歸檔為X-Engine引擎格式
- 歸檔普通表：
  - MySQL 8.0.1且修訂版本為8.0.1.1.31或以上。
  - MySQL 8.0.2且修訂版本為8.0.2.2.12及以上。
- 歸檔分區表：MySQL 8.0.2且修訂版本為8.0.2.2.12及以上。
- 歸檔為X-Engine列存表：MySQL 8.0.2且修訂版本為8.0.2.2.33及以上。

費用說明

冷資料按照OSS中冷資料存放區的容量收取費用，具體收費如下。

中國內地	中國香港及海外
0.0000325美元/GB/小時	0.0000455美元/GB/小時

樣本：以中國內地為例，若您開啟並執行了冷資料歸檔操作，歸檔的資料量大小為100 GB，則每小時費用為100 GB×0.0000325美元/GB/小時=0.00325美元/小時。

說明

如何查看冷資料歸檔資料量大小，請參考查看冷資料歸檔資訊。

如何使用

更多資訊，請參見使用說明。