启用cgroup writeback功能

使用限制

在启用cgroup writeback功能之后，您可以先确认内存子系统（memcg）和IO子系统（blkcg）的映射关系是否符合下文所述的规则，再对进程进行Buffered I/O限速。

cgroup writeback功能需要memcg和blkcg协同工作，完成Buffered I/O的限速，但是内核接口cgroup v1的各个控制子系统间默认不协同工作。因此需要通过一定的规则把memcg和blkcg连接起来，规则为：通过任意一个memcg必须可以找到与之唯一对应的blkcg。即memcg和blkcg的映射关系可以是一对一或多对一，不可以是一对多或多对多。

开启cgroup writeback功能

cgroup v1接口中的cgroup writeback功能默认是关闭的，按照以下步骤开启该功能。

1. 通过命令grubby内添加cgwb_v1字段开启该功能。

   本示例中内核版本为4.19.36-12.al7.x86_64，您在操作中需要更换为实际的内核版本，内核版本的查看命令为uname -r。

   sudo grubby --update-kernel="/boot/vmlinuz-4.19.36-12.al7.x86_64" --args="cgwb_v1"

2. 重启系统使功能生效。

   sudo reboot

3. 使用以下命令读取内核文件/proc/cmdline，确认内核命令行参数中带有cgwb_v1字段。此时，blkcg下的blkio.throttle.write_bps_device及blkio.throttle.write_iops_device接口能够对Buffered I/O进行限速。

   cat /proc/cmdline | grep cgwb_v1

验证cgroup writeback是否生效

本示例将模拟出两个产生I/O的进程，用于验证cgroup writeback功能是否有效。

1. 模拟出两个产生I/O的进程，并按照限制条件优先设置blkcg的cgroup.procs接口。

   sudo mkdir /sys/fs/cgroup/blkio/blkcg1
   sudo mkdir /sys/fs/cgroup/memory/memcg1
   sudo bash -c "echo $$ > /sys/fs/cgroup/blkio/blkcg1/cgroup.procs"    # $$为您的进程ID
   sudo bash -c "echo $$ > /sys/fs/cgroup/memory/memcg1/cgroup.procs"    # $$为您的进程ID

2. 使用blkcg下的blkio.throttle.write_bps_device接口对Buffered I/O进行限速。

   sudo bash -c "echo 254:48 10485760 > /sys/fs/cgroup/blkio/blkcg1/blkio.throttle.write_bps_device"    # 通过设备号配置磁盘的回写限流bps为10 M

3. 使用不带参数oflag=sync的dd命令产生缓存异步I/O。

   sudo dd if=/dev/zero of=/mnt/vdd/testfile bs=4k count=10000

4. 使用iostat工具查询结果。查看输出列wMB/s，如果被限制到10 MB/s，则表示cgroup writeback功能已生效。

   iostat -xdm 1 vdd

确认memcg和blkcg的映射关系

您可以使用以下任意一种方式诊断memcg和blkcg的映射关系是否为一对一或多对一。

• 查看memcg与blkcg映射关系。

  sudo cat /sys/kernel/debug/bdi/bdi_wb_link

  返回结果示例如下，该示例表示memcg和blkcg符合一对一的映射规则。

  memory     <--->     blkio
  memcg1:   35 <---> blkcg1:   48

• 使用ftrace内核监测工具。

  1. 开启ftrace工具。

     sudo bash -c "echo 1 > /sys/kernel/debug/tracing/events/writeback/insert_memcg_blkcg_link/enable"

  2. 查看信息输出接口。

     sudo cat /sys/kernel/debug/tracing/trace_pipe

     输出内容示例如下，其中memcg_ino=35 blkcg_ino=48表示memcg和blkcg符合一对一的映射规则。

     <...>-1537  [006] ....    99.511327: insert_memcg_blkcg_link: memcg_ino=35 blkcg_ino=48 old_blkcg_ino=0