Alibaba Cloud Linux：Group Identity功能说明

功能原理

Group Identity功能可以对每一个CPU cgroup设置身份标识，以区分cgroup中的任务优先级。Group Identity核心是双红黑树设计，在CFS（Completely Fair Scheduler）调度队列的单红黑树基础上，新增了一棵低优先级的红黑树，用于存放低优先级任务。

接口说明

• 身份标识配置接口

  Group Identity提供了两个用于设置任务身份标识的接口：/sys/fs/cgroup/cpu/$cg/cpu.identity与/sys/fs/cgroup/cpu/$cg/cpu.bvt_warp_ns。其中变量$cg表示任务实际所在的子cgroup目录节点。在使用身份标识配置接口前，您需要注意：

  • cpu.bvt_warp_ns接口是快捷配置接口，写入后会转换为identity。

  • cpu.identity接口与cpu.bvt_warp_ns接口都是对cgroup的identity做更改。

  • cpu.identity接口写入后会覆盖cpu.bvt_warp_ns接口上次的写入值，但不会在cpu.bvt_warp_ns接口中体现。

  • cpu.bvt_warp_ns接口写入后会覆盖cpu.identity接口上次的写入值，但不会在cpu.identity接口中体现。

  • 您只需要使用任一接口设置任务的身份标识，不建议同时设置两个接口。

  • 如果您不熟悉操作系统内核的相关操作，不建议使用cpu.identity接口。

  接口说明如下：

  接口	说明
  cpu.identity	默认取值为0，表示身份标识为ID_NORMAL。 该接口是一个位段，一共有5个比特位，该接口各个比特位的取值说明如下： 空值：表示身份标识为ID_NORMAL。 比特位0：表示身份标识为ID_UNDERCLASS。 比特位1：表示身份标识为ID_HIGHCLASS。 比特位2：表示身份标识为ID_SMT_EXPELLER。 比特位3：表示身份标识为ID_IDLE_SAVER。 比特位4：表示身份标识为ID_IDLE_SEEKER。 例如，如果设置一个cgroup的身份标识为ID_HIGHCLASS和ID_IDLE_SEEKER，那么将比特位1和4置为1，其他比特位置为0，得到的二进制表示为：10010，转化为十进制为：18，则执行echo 18 > /sys/fs/cgroup/cpu/$cg/cpu.identity即可完成写入。
  cpu.bvt_warp_ns	默认取值为0，表示身份标识为ID_NORMAL。该接口的取值说明如下： 2：表示同时具有身份标识ID_SMT_EXPELLER、ID_IDLE_SEEKER、ID_HIGHCLASS，对应的identity值为22。 1：表示同时具有身份标识ID_HIGHCLASS、ID_IDLE_SEEKER，对应的identity值为18。 0：表示身份标识为ID_NORMAL，对应的identity值为0。 -1：表示同时具有身份标识ID_UNDERCLASS、ID_IDLE_SAVER，对应的identity值为9。 -2：表示同时具有身份标识ID_UNDERCLASS、ID_IDLE_SAVER，对应的identity值为9。

  说明

  Alibaba Cloud Linux默认支持cgroup v1接口，在Alibaba Cloud Linux 3内核版本大于等于5.10.134-13的5.10内核中，Group Identity也支持cgroup v2接口

  /sys/fs/cgroup/$cg/cpu.identity与/sys/fs/cgroup/$cg/cpu.bvt_warp_ns，其中变量$cg表示任务实际所在的子cgroup目录节点。

• 调度特性开关配置接口

  运行以下命令，您可以通过sched_features接口查看到内核调度特性的默认配置。

  sudo cat /sys/kernel/debug/sched_features

  具体说明如下：

  调度特性	说明	默认值
  ID_IDLE_AVG	该特性与ID_IDLE_SAVER身份标识配合，把ID_UNDERCLASS任务的运行时间计入空闲时长，防止只有ID_UNDERCLASS任务运行时仍保留空闲CPU（Idle CPU）的问题，避免资源浪费。	ID_IDLE_AVG：表示特性为启用状态。
  ID_RESCUE_EXPELLEE	该特性作用于负载均衡场景，如果任务无法找到可用的CPU资源，则正在进行驱逐ID_UNDERCLASS任务的CPU会成为负载均衡的目标。用于帮助ID_UNDERCLASS任务尽快摆脱被驱逐的状态。	ID_RESCUE_EXPELLEE：表示特性为启用状态。
  ID_EXPELLEE_NEVER_HOT	该特性被启用后，正在被驱逐的任务在判断是否需要迁移至其他CPU时，不会因为热缓存的原因而造成拒绝迁移。用于帮助ID_UNDERCLASS任务尽快摆脱被驱逐的状态。	NO_ID_EXPELLEE_NEVER_HOT：表示特性为关闭状态。
  ID_LOOSE_EXPEL	该特性被启用后，CPU不会在每次选择任务时更新驱逐状态，而是根据内核参数sched_expel_update_interval设置的时间自动更新。该特性的开关仅影响CPU选择任务时的状态更新，不影响处理IPI中断的更新。	NO_ID_LOOSE_EXPEL：表示特性为关闭状态。
  ID_LAST_HIGHCLASS_STAY	该特性被启用后，CPU上最后一个运行的ID_HIGHCLASS任务不会被迁移至其他CPU。	ID_LAST_HIGHCLASS_STAY：表示特性为启用状态。
  ID_EXPELLER_SHARE_CORE	该特性开启时允许ID_SMT_EXPELLER的任务优先选择已经有ID_SMT_EXPELLER任务的物理核，该特性关闭时则不允许。 该特性关闭时可以尽可能地把ID_SMT_EXPELLER的任务分散到各个物理核上，从而避免ID_SMT_EXPELLER任务之间的相互干扰。	ID_EXPELLER_SHARE_CORE：表示特性为启用状态。
  ID_ABSOLUTE_EXPEL	在Alibaba Cloud Linux 3的5.10.134-16.3内核中引入，在内核版本大于等于5.10.134-16.3的5.10内核中可以使用。开启该特性后，身份为ID_UNDERCLASS的任务将受到绝对压制，即运行队列中只要有ID_NORMAL或者ID_HIGHCLASS任务，ID_UNDERCLASS的任务就无法得到调度，最坏情况将导致ID_UNDERCLASS任务饿死，因此开启该特性前需评估混合部署场景中各种身份任务的负载情况。	NO_ID_ABSOLUTE_EXPEL：表示特性为关闭状态。
  ID_LOAD_BALANCE	在Alibaba Cloud Linux 3的5.10.134-16.3内核中引入，在内核版本大于等于5.10.134-16.3的5.10内核中可以使用。开启该特性后，调度器在负载均衡时，会将只有ID_UNDERCLASS任务的CPU视为空闲CPU，并会尝试将ID_HIGHCLASS任务迁移到这种CPU上，会尽量将ID_HIGHCLASS打散，避免ID_HIGHCLASS任务之间的CPU竞争和HT干扰，使每个ID_HIGHCLASS任务都能获得充足的CPU资源。	NO_ID_LOAD_BALANCE：表示特性为关闭状态。

• 用于sysctl配置内核参数的接口

  Group Identity的部分功能的实现需要以内核参数的取值作为参考。相关内核参数的具体说明如下表：

  内核参数	说明	单位	默认值
  /proc/sys/kernel/sched_expel_update_interval	CPU在选择任务时，驱逐状态的自动更新时间间隔。仅在ID_LOOSE_EXPEL特性开启时生效。	ms	10
  /proc/sys/kernel/sched_expel_idle_balance_delay	CPU在驱逐状态下，idle balance的最小时间间隔。取值为-1时表示不允许进行idle balance。 当CPU上均为ID_UNDERCLASS任务且任务在被驱逐时，CPU的状态可以理解为空闲状态，在该状态下CPU会进行idle balance以提高负载均衡的效果，但会对ID_UNDERCLASS任务造成损伤。通过设置sched_expel_idle_balance_delay参数可以缓解该问题。	ms	-1
  /proc/sys/kernel/sched_idle_saver_wmark	设置CPU空闲时间的水位线。当ID_IDLE_SAVER任务被唤醒时，只会尝试找到高于该水位线的空闲CPU，不会尝试找到低于该水位线的空闲CPU。	ns	0
  /proc/sys/kernel/sched_group_identity_enabled	从4.19.91-26.4开始，Group Identity新增开关/proc/sys/kernel/sched_group_identity_enabled。在使用Group Identity功能之前需要先执行echo 1 > /proc/sys/kernel/sched_group_identity_enabled打开该开关，否则将无法使用该功能。 开启该开关后，如果cgroup的cpu.bvt_warp_ns或者cpu.identity非零，则无法向/proc/sys/kernel/sched_group_identity_enabled接口写入数据。 说明 当内核版本为4.19.91-26.4.al7、4.19.91-26.5.al7、4.19.91-26.6.al7时，如果sched_group_identity_enabled已经被置为1，并且有cgroup的bvt被置为非零值，读取/proc/sys/kernel/sched_group_identity_enabled会报error，这是接口读取bug，不影响正常使用。4.19.91-27.al7以上版本的内核已修复该问题。	不涉及	0

信息输出说明

cat /proc/sched_debug