冷数据归档

更新时间:2025-01-16 01:45

冷数据通常指在集群中某些数据库表中几乎没有更新且读取频率非常低的数据。如果您有降低成本的需求,可以使用PolarDB MySQL版提供的冷数据归档功能,将这部分数据转存至低成本的对象存储服务(OSS),以降低数据存储成本。

技术原理

PolarDB MySQL版支持将数据归档为CSV或ORC两种格式。不同格式的归档原理有所差别,详细原理如下所示:

image

您可以采用手动或自动两种方式进行数据归档。归档后的数据格式将转变为CSV或ORC格式,并分成多个文件存储在OSS上。同时,PolarDB存储空间内的这部分数据将被自动删除,存储费用也将随着存储空间容量的降低而减少。随后,PolarDB的节点可以通过阿里云内网访问OSS上的数据。更多信息,请参见手动归档冷数据自动归档冷数据

说明

归档分区表功能目前处于灰度阶段,如需使用,请前往配额中心,根据配额ID polardb_mysql_hybrid_partition找到配额名称,在对应的操作列单击申请来开通该功能。

归档格式对比

归档冷数据时,您可以根据以下对比评估选择适合的格式进行归档。

对比项

CSV

ORC

对比项

CSV

ORC

开源格式

归档方式

手动归档:

归档速度

较ORC格式快

说明

只支持使用单线程方式归档数据。

说明

只支持使用单线程方式归档数据。

查询速度

  • 较差。在没有索引且使用串行查询的情况下,查询性能约为InnoDB存储引擎的五分之一到十分之一。

  • 行存节点上,较ORC格式快。

说明

支持使用单线程和多线程两种方式读取数据。

  • 较差。在没有索引且使用串行查询的情况下,查询性能约为InnoDB存储引擎的五分之一到十分之一。

  • 适合通过单独的列存节点进行AP查询。

说明

只支持使用单线程方式读取数据。

支持事务

索引能力

归档后的数据修改方式

OSS上的归档表只读,需要将OSS数据导回至PolarDB存储空间,再进行修改。

占用的存储空间

与没有索引的InnoDB引擎中的表占用的存储空间一致。

相同数据量的情况下,占用的存储空间为CSV格式文件占用的存储空间的45%。

备份恢复

不支持。

说明

进行备份操作时,不会对OSS上已归档的冷数据进行备份,因此不支持通过备份进行库表恢复、备份恢复或按时间点还原操作。

归档后影响

说明
  • 归档普通表、OSS外表以及分区表均存在相关限制。请在进行归档操作之前仔细阅读,以避免对您的业务产生影响。

  • 冷数据归档后,数据将存储在系统默认的对象存储服务(OSS)上,而非存储在您的OSS中。目前,仅支持在PolarDB控制台上查看归档后的数据列表。

版本要求

归档为CSV或ORC格式的企业版集群要求如下:

  • 产品系列为集群版时,内核版本需为如下版本之一:

    • MySQL 8.0.1且修订版本为8.0.1.1.31及以上。

    • MySQL 8.0.2且修订版本为8.0.2.2.9及以上。

  • 产品系列为多主集群(库表)时,内核版本需为8.0.1.0.13及以上。

费用

冷数据按照OSS中冷数据存储的容量收取费用,具体收费如下。同时,您可以购买PolarDB存储包来抵扣OSS中冷数据的存储容量,以减少这部分费用。详细信息,请参见存储包

中国内地

中国香港及海外

中国内地

中国香港及海外

0.0000325美元/GB/小时

0.0000455美元/GB/小时

示例:以中国内地为例,若您开启并执行了冷数据归档操作,归档的数据量大小为100 GB,则每小时费用为100 GB×0.0000325美元/GB/小时=0.00325美元/小时

说明

如何查看冷数据归档数据量大小,请参考查看冷数据归档信息

如何使用

更多信息,请参见使用说明

专家面对面

若您对冷数据归档功能有任何问题,可通过钉钉搜索群号入群咨询。您可以直接@群内专家,并附上您要咨询的问题。同时,群内也有PolarDB智能小助手7*24小时在线回答您的问题。

钉钉群号:24490017825

  • 本页导读 (1)
  • 技术原理
  • 归档格式对比
  • 版本要求
  • 费用
  • 如何使用
  • 专家面对面
文档反馈
phone 联系我们

立即和Alibaba Cloud在线服务人员进行交谈,获取您想了解的产品信息以及最新折扣。

alicare alicarealicarealicare