云原生数据仓库AnalyticDB：数据存储冷热分离

AnalyticDB for MySQL集群需要同时满足以下条件：

• 集群系列需为弹性模式集群版（新版）。

• 集群内核版本需为3.1.3.3或以上。

  说明

  • 如何查看集群版本，请参见查看版本。

  • 如需升级版本请提交工单并提供可升级的时间。升级版本耗时约20分钟。升级期间，您的集群仍可以正常运行，但升级过程中会出现闪断，建议您在业务低峰期升级，或确保您的应用有自动重连机制。

AnalyticDB for MySQL的数据存储冷热分离策略分为全冷存储、全热存储、冷热混合存储。

• 全冷存储指数据全部存储在OSS中，是一种较为经济的存储策略。

• 全热存储指数据全部存储在SSD盘，满足高性能访问的需求。

• 冷热混合存储指一定数量的分区存储在SSD盘，其余数据存储在OSS中。

冷热分区布局不是固定不变的。以下情况会影响冷热分区布局：

• 当数据有新增，修改，删除时，会重新调整冷热分区布局。详细说明，请参见数据变更对冷热分区布局的影响。

• 当变更热分区数量时，会重新调整冷热分区布局。详细说明，请参见变更热分区数量对冷热分区布局的影响。

如图所示，当新增分区20201110之后，20201110为当前最大的分区，应该放在热分区中，但是当前热分区数已满5，数据存储冷热分离策略会从热分区中选一个最小的分区20201105迁移到冷分区，并把20201110放在热分区中。

当前热分区数为N，修改热分区的数量为M。

• 当热分区数增加，即M>N时，会从冷分区迁移M-N个分区数据到热分区。

  如图所示，当前热分区数为5， 修改热分区数为6后，数据存储冷热分离策略会从冷分区迁移一个最大的分区20201104到热分区中。

• 当热分区数减少，即M<N时，会从热分区迁移N-M个分区数据到冷分区。

  例如，当前热分区数为5， 修改热分区数为4后，数据存储冷热分离策略会从热分区迁移一个最小的分区到冷分区中。

您可以通过查询表table_usage，来查看当前的冷热数据存储情况。具体使用方式如下：

• 查询所有表的冷热数据存储情况：

  select * from information_schema.table_usage;

• 查询单个表的冷热数据存储情况：

  select * from information_schema.table_usage where table_schema='<schema_name>' and table_name='<table_name>';

table_usage表字段信息：

table_usage表说明：

• table_usage是实时更新的，随着insert/update/delete/build的执行，rt_total_size、rt_data_size、rt_index_size、hot_total_size、hot_data_size、hot_index_size、cold_total_size、cold_data_size、cold_index_size会实时变动。

• 如果加载数据之后hot_total_size和cold_total_size都为0，则表示数据还在实时中，rt_total_size为实时数据的存储，可以通过执行build语句，将实时数据转换为分区数据，待build完成后可以查到hot_total_size和cold_total_size。

  build指令：

  build table <table_name>;

• 由于用户定义的hot_partition_count是单个shard内二级分区的热分区存储情况，而table_usage表查询到的hot_partition_count是按照shard union之后的结果，在各shard内分区数据不一致的情况下，可能会出现table_usage表中查询到的hot_partition_count大于用户定义的hot_partition_count。

  例如：tableA有两个shard（shard1和shard2），并且定义了hot_partition_count=2，此时shard内的数据分布情况如下图。

  shard1：热分区为P4、P5，冷分区为P1、P2、P3。

  shard2：热分区为P3、P4，冷分区为P1、P2。

  最终计算的实际热分区为（P4、P5）Union（P3、P4）=（P3、P4、P5），因此实际hot_partition_count=3。

您可以通过执行ALTER TABLE语句修改表的数据存储冷热分离策略，详细信息请参见ALTER TABLE。您可以通过查询表storage_policy_modify_progress来查看冷热变更进度。

• 查询当前集群中所有参与变更的表的冷热变更进度，语句如下：

  select * from information_schema.storage_policy_modify_progress;

• 查询单个表的冷热变更进度，语句如下：

  select * from information_schema.storage_policy_modify_progress where table_schema='<schema_name>' and table_name='<table_name>';

storage_policy_modify_progress表字段信息：