Alibaba Cloud Linux：THP reclaim功能

接口说明

功能限制

仅以下内核版本的Alibaba Cloud Linux镜像支持配置THP reclaim功能：

• Alibaba Cloud Linux 2：4.19.91-24.al7及以上内核版本。

• Alibaba Cloud Linux 3：5.10.134-15.al8及以上内核版本。

配置THP reclaim功能

本示例操作中，将以创建一个名为test的memory cgroup为例介绍如何配置THP reclaim。

1. 运行以下命令，创建一个名为test的memory cgroup。

   sudo mkdir /sys/fs/cgroup/memory/test/

2. 运行以下命令，开启test的THP reclaim功能。

   sudo sh -c 'echo reclaim > /sys/fs/cgroup/memory/test/memory.thp_reclaim'

3. 运行以下命令，确认test的THP reclaim功能成功开启。

   cat /sys/fs/cgroup/memory/test/memory.thp_reclaim

   返回结果如下图所示，被[]包裹的配置项为生效配置项，[reclaim]表示test的THP reclaim功能已开启。

   

4. 运行以下命令，通过THP reclaim功能的全局配置接口强制开启THP reclaim功能。

   sudo sh -c 'echo reclaim > /sys/kernel/mm/transparent_hugepage/reclaim'

   如果您想强制关闭THP reclaim功能，可运行以下命令：

   sudo sh -c 'echo disable > /sys/kernel/mm/transparent_hugepage/reclaim'

   说明

   THP reclaim功能的全局配置接口/sys/kernel/mm/transparent_hugepage/reclaim在设置为强制开启（reclaim）或强制关闭（disable）时，接口生效的优先级会高于各个memory cgroup中的memory.thp_reclaim接口，但不会影响各个memory cgroup中memory.thp_reclaim接口的配置。

5. 运行以下命令，配置test的memory.thp_reclaim_ctrl接口的threshold配置项。

   sudo sh -c 'echo "threshold 32" >  /sys/fs/cgroup/memory/test/memory.thp_reclaim_ctrl'

   该示例命令表示如果透明大页中的全零页面数量超过32，则会触发THP reclaim的全零页面回收功能。

6. 主动触发THP reclaim的全零页面回收功能。

   主动触发后，THP reclaim会把所有超过threshold配置的全零页面回收。配置项reclaim存在以下配置方式：

   说明

   该配置项的调用方式为同步调用，并且为只写配置项，即您只能向memory.thp_reclaim_ctrl接口写入reclaim以主动触发THP reclaim的全零页面回收功能，但不能通过cat命令查看到reclaim配置项。

   • 运行以下命令，会主动触发当前memory cgroup的THP reclaim的全零页面回收功能。

     sudo sh -c 'echo "reclaim 1" >  /sys/fs/cgroup/memory/test/memory.thp_reclaim_ctrl'

   • 运行以下命令，会主动递归触发当前memory cgroup以及该cgroup下所有子cgroup的THP reclaim的全零页面回收功能。

     sudo sh -c 'echo "reclaim 2" >  /sys/fs/cgroup/memory/test/memory.thp_reclaim_ctrl'

     除了通过reclaim主动触发THP reclaim的全零页面回收功能。THP reclaim还会伴随内存回收而触发：

     • 内存出现OOM时，会触发THP reclaim的全零页面回收功能。

     • 当memory cgroup触发memory后台异步回收时，会触发THP reclaim的全零页面回收功能。关于memory后台异步回收的更多信息，请参见Memcg后台异步回收。

7. 运行以下命令，查看test的THP reclaim功能状态。

   cat /sys/fs/cgroup/memory/test/memory.thp_reclaim_stat

   返回结果示例如下：

   queue_length        14
   split_hugepage     523
   reclaim_subpage 256207

   该结果表示：

   • queue_length表示THP reclaim管理的透明大页数量为14。

   • split_hugepage表示累计拆分的透明大页数量为523。

   • reclaim_subpage表示累计回收的全零页面数量为256207。

测试THP reclaim功能效果

本节基于C语言提供了进程申请透明大页的代码测试样例。您可以通过以下测试样例，查看到THP reclaim功能在开启与关闭时的区别。

1. 运行以下命令，为内存使用量限制接口memory.limit_in_bytes设置1 GiB的限制。

   sudo sh -c 'echo 1G > /sys/fs/cgroup/memory/test/memory.limit_in_bytes'

   设置后，您可以运行以下命令查看memory.limit_in_bytes接口的值。

   cat /sys/fs/cgroup/memory/test/memory.limit_in_bytes

   查看结果如下图所示：

   

2. 运行以下命令，关闭memcg后台异步回收功能。

   关于memcg后台异步回收的更多信息，请参见Memcg后台异步回收。

   sudo sh -c 'echo 0 > /sys/fs/cgroup/memory/test/memory.wmark_ratio'

3. 分别在开启或关闭THP reclaim功能的前提下，运行以下命令对C语言代码进行测试，并查看测试结果。

   gcc -o test <test.c>

   其中，<test.c>的代码示例如下，您可以根据实际需求替换。

   // 申请1 G内存（即512个透明大页），其中10个透明大页包含部分全零页面。
   #include <stdlib.h>  // For posix_memalign
   #include <string.h>  // For memset
   #include <unistd.h>  // For pause
   
   #define HUGEPAGE_SIZE 4096 * 512
   int main()
   {
           int i, thp = 512;
           char *addr;
           posix_memalign((void **)&addr, HUGEPAGE_SIZE, HUGEPAGE_SIZE * thp);
   
           for (i = 0; i < 10; i++) {
                   memset(addr, 0xc, HUGEPAGE_SIZE >> 1);
                   addr += HUGEPAGE_SIZE;
           }
   
           for (; i < thp; i++) {
                   memset(addr, 0xc, HUGEPAGE_SIZE);
                   addr += HUGEPAGE_SIZE;
           }
   
           pause();
           return 0;
   }

   在测试过程中，您可以在另一台终端通过dmesg -wH命令同步监控系统是否发生OOM事件和内存使用情况。测试结果根据THP reclaim功能的开启状态有所不同：

   • THP reclaim功能开启：进程申请透明大页过程中，THP reclaim会把前序申请的透明大页拆分为小页，并回收其中的全零页面，从而减少内存的使用量，最终不会发生OOM。

   • THP reclaim功能关闭：系统不会主动拆分和回收全零页面，最终发生OOM，您将看到内核输出关于内存不足的日志信息，包括可能被杀死的进程详情。

相关文档

• Alibaba Cloud Linux系统中与透明大页THP相关的性能调优方法

• 代码大页