Alibaba Cloud Linux：捕获内核的内存污染问题（KFENCE）

场景1：使用KFENCE探测内存是否存在污染

• 添加kfence.sample_interval参数开启KFENCE。

  <kfence.sample_interval>需替换为要配置的值，例如100，表示系统下次启动时自动启用kfence调试工具，并设置其采样间隔为100次事件。

  sudo grubby --update-kernel=/boot/vmlinuz-$(uname -r) --args="kfence.sample_interval=<kfence.sample_interval>"

• 添加kfence.booting_max根据内存规格控制KFENCE最大的内存消耗。

  说明

  • 内核5.10.134-17及以上版本，新增boot commandline默认配置kfence.booting_max=0-2G:0,2G-32G:2M,32G-:32M用于根据内存规格控制KFENCE最大的内存消耗，配合默认的参数num_objects=255（通常情况下占用2 MiB内存，64 K大页内核占用32 MiB内存），可以控制在任何规格下KFENCE的内存开销均不超过千分之一。

  • 此参数仅控制内存开销的上限，是对num_objects参数的制约，不代表实际内存开销（实际内存开销会小于等于此值）。

  <kfence.booting_max>需替换为要配置的值，例如0-128M:0,128M-256M:1M,256M-:2M，参数说明如下。

  • 机器内存＜128 MiB，不开启KFENCE。

  • 128 MiB≤机器内存≤256 MiB，控制KFENCE使用的内存开销上限为1 MiB（对应num_objects上限被制约为127）。

  • 机器内存＞256 MiB，控制KFENCE使用的内存开销上限为2 MiB（对应num_objects上限被制约为255）。

  sudo grubby --update-kernel=/boot/vmlinuz-$(uname -r) --args="kfence.booting_max=<kfence.booting_max>"

  此配置仅针对使用boot commandline方式开机自启KFENCE的场景，对于系统已经启动后再配置KFENCE（即场景2）无效。

系统在下次重启时，配置会自动生效。

场景2：使用KFENCE捕获内存污染问题

1. 新建一个内存分配脚本，并添加如下内容（以脚本名称kfence.sh，监控的目标slab类型是kmalloc-64为例）。

   #!/bin/bash
   # usage: ./kfence.sh kmalloc-64
   
   SLAB_PREFIX=/sys/kernel/slab
   MODULE_PREFIX=/sys/module/kfence/parameters
   
   if [ $# -eq 0 ]; then
   	echo "err: please input slabs"
   	exit 1
   fi
   
   #check whether slab exists
   for i in $@; do
   	slab_path=$SLAB_PREFIX/$i
   	if [ ! -d $slab_path ]; then
   		echo "err: slab $i not exist!"
   		exit 1
   	fi
   done
   
   #calculate num_objects
   sumobj=0
   for i in $@; do
   	objects=($(cat $SLAB_PREFIX/$i/objects))
   	maxobj=1
   	for ((j=1; j<${#objects[@]}; j++)); do
   		nodeobj=$(echo ${objects[$j]} | awk -F= '{print $2}')
   		[ $maxobj -lt $nodeobj ] && maxobj=$nodeobj
   	done
   	((sumobj += maxobj))
   done
   echo "recommend num_objects per node: $sumobj"
   
   #check kfence stats
   if [ $(cat $MODULE_PREFIX/sample_interval) -ne 0 ]; then
   	echo "kfence is running, disable it and wait..."
   	echo 0 > $MODULE_PREFIX/sample_interval
   	sleep 1
   fi
   
   #disable all slabs catching
   for file in $SLAB_PREFIX/*
   do
   	(echo 0 > $file/kfence_enable) 2>/dev/null || echo 1 > $file/skip_kfence
   done
   
   #disable order0 page catching
   echo 0 > $MODULE_PREFIX/order0_page
   
   #enable setting slabs catching
   for i in $@; do
   	(echo 1 > $SLAB_PREFIX/$i/kfence_enable) 2>/dev/null || echo 0 > $SLAB_PREFIX/$i/skip_kfence
   done
   
   #setting num_objects and node mode
   echo $sumobj > $MODULE_PREFIX/num_objects
   echo node > $MODULE_PREFIX/pool_mode
   
   #start kfence
   echo -1 > $MODULE_PREFIX/sample_interval
   if [ $? -ne 0 ]; then
   	echo "err: kfence enable fail!"
   	exit 1
   fi
   echo "kfence enabled!"

   该脚本将探测目标slab的活跃对象数量，并根据该数量估算出合适的KFENCE池子大小，然后启用KFENCE以捕获所有目标slab的分配。

   说明

   slab是内存管理中常用的概念和技术，用于优化内存的分配和释放操作，提高系统的性能和效率。KFENCE支持监控slab以及order 0单页。

2. 运行以下命令，执行脚本，开始探测。

   sudo bash ./kfence.sh kmalloc-64