Alibaba Cloud Linux：捕獲核心的記憶體汙染問題（KFENCE）

情境1：使用KFENCE探測記憶體是否存在汙染

• 添加kfence.sample_interval參數開啟KFENCE。

  <kfence.sample_interval>需替換為要配置的值，例如100，表示系統下次啟動時自動啟用kfence調試工具，並設定其採樣間隔為100次事件。

  sudo grubby --update-kernel=/boot/vmlinuz-$(uname -r) --args="kfence.sample_interval=<kfence.sample_interval>"

• 添加kfence.booting_max根據記憶體規格控制KFENCE最大的記憶體消耗。

  說明

  • 核心5.10.134-17及以上版本，新增boot commandline預設配置kfence.booting_max=0-2G:0,2G-32G:2M,32G-:32M用於根據記憶體規格控制KFENCE最大的記憶體消耗，配合預設的參數num_objects=255（通常情況下佔用2 MiB記憶體，64 K大頁核心佔用32 MiB記憶體），可以控制在任何規格下KFENCE的記憶體開銷均不超過千分之一。

  • 此參數僅控制記憶體開銷的上限，是對num_objects參數的制約，不代表實際記憶體開銷（實際記憶體開銷會小於等於此值）。

  <kfence.booting_max>需替換為要配置的值，例如0-128M:0,128M-256M:1M,256M-:2M，參數說明如下。

  • 機器記憶體＜128 MiB，不開啟KFENCE。

  • 128 MiB≤機器記憶體≤256 MiB，控制KFENCE使用的記憶體開銷上限為1 MiB（對應num_objects上限被制約為127）。

  • 機器記憶體＞256 MiB，控制KFENCE使用的記憶體開銷上限為2 MiB（對應num_objects上限被制約為255）。

  sudo grubby --update-kernel=/boot/vmlinuz-$(uname -r) --args="kfence.booting_max=<kfence.booting_max>"

  此配置僅針對使用boot commandline方式開機自啟KFENCE的情境，對於系統已經啟動後再配置KFENCE（即情境2）無效。

系統在下次重啟時，配置會自動生效。

情境2：使用KFENCE捕獲記憶體汙染問題

1. 建立一個記憶體配置指令碼，並添加如下內容（以指令碼名稱kfence.sh，監控的目標slab類型是kmalloc-64為例）。

   #!/bin/bash
   # usage: ./kfence.sh kmalloc-64
   
   SLAB_PREFIX=/sys/kernel/slab
   MODULE_PREFIX=/sys/module/kfence/parameters
   
   if [ $# -eq 0 ]; then
   	echo "err: please input slabs"
   	exit 1
   fi
   
   #check whether slab exists
   for i in $@; do
   	slab_path=$SLAB_PREFIX/$i
   	if [ ! -d $slab_path ]; then
   		echo "err: slab $i not exist!"
   		exit 1
   	fi
   done
   
   #calculate num_objects
   sumobj=0
   for i in $@; do
   	objects=($(cat $SLAB_PREFIX/$i/objects))
   	maxobj=1
   	for ((j=1; j<${#objects[@]}; j++)); do
   		nodeobj=$(echo ${objects[$j]} | awk -F= '{print $2}')
   		[ $maxobj -lt $nodeobj ] && maxobj=$nodeobj
   	done
   	((sumobj += maxobj))
   done
   echo "recommend num_objects per node: $sumobj"
   
   #check kfence stats
   if [ $(cat $MODULE_PREFIX/sample_interval) -ne 0 ]; then
   	echo "kfence is running, disable it and wait..."
   	echo 0 > $MODULE_PREFIX/sample_interval
   	sleep 1
   fi
   
   #disable all slabs catching
   for file in $SLAB_PREFIX/*
   do
   	(echo 0 > $file/kfence_enable) 2>/dev/null || echo 1 > $file/skip_kfence
   done
   
   #disable order0 page catching
   echo 0 > $MODULE_PREFIX/order0_page
   
   #enable setting slabs catching
   for i in $@; do
   	(echo 1 > $SLAB_PREFIX/$i/kfence_enable) 2>/dev/null || echo 0 > $SLAB_PREFIX/$i/skip_kfence
   done
   
   #setting num_objects and node mode
   echo $sumobj > $MODULE_PREFIX/num_objects
   echo node > $MODULE_PREFIX/pool_mode
   
   #start kfence
   echo -1 > $MODULE_PREFIX/sample_interval
   if [ $? -ne 0 ]; then
   	echo "err: kfence enable fail!"
   	exit 1
   fi
   echo "kfence enabled!"

   該指令碼將探測目標slab的活躍對象數量，並根據該數量估算出合適的KFENCE池子大小，然後啟用KFENCE以捕獲所有目標slab的分配。

   說明

   slab是記憶體管理中常用的概念和技術，用於最佳化記憶體的分配和釋放操作，提高系統的效能和效率。KFENCE支援監控slab以及order 0單頁。

2. 運行以下命令，執行指令碼，開始探測。

   sudo bash ./kfence.sh kmalloc-64