容器服务 Kubernetes 版 ACK：启用容器内存QoS

费用说明

ack-koordinator组件本身的安装和使用是免费的，不过需要注意的是，在以下场景中可能产生额外的费用：

• ack-koordinator是非托管组件，安装后将占用Worker节点资源。您可以在安装组件时配置各模块的资源申请量。

• ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了ACK-Koordinator开启Prometheus监控指标选项并使用了阿里云Prometheus服务，这些指标将被视为自定义指标并产生相应费用。具体费用取决于您的集群规模和应用数量等因素。建议您在启用此功能前，仔细阅读阿里云Prometheus计费说明，了解自定义指标的免费额度和收费策略。您可以通过账单和用量查询，监控和管理您的资源使用情况。

配置说明

当您为Pod开启容器内存QoS时，内存cgroup参数将基于系数配置和Pod参数自适应调整。您可以参见下文，在单个Pod维度、集群全局维度或集群下命名空间维度开启容器内存QoS并配置相关参数。

annotations:
  # 设置为auto，表示开启该Pod的容器内存QoS功能。
  koordinator.sh/memoryQOS: '{"policy": "auto"}'
  # 设置为none，表示关闭该Pod的容器内存QoS功能。
  koordinator.sh/memoryQOS: '{"policy": "none"}'

操作步骤

本小节以一个Redis应用为例，使用以下评测环境进行测试，展示在内存超卖场景下，关闭或开启ACK容器内存QoS时，示例应用的时延和吞吐性能表现差异。

• 使用ACK集群Pro版。

• 集群内包含两个节点：压测节点（规格为8 Core 32 GB）、测试节点（规格为8 Core 32 GB）。

验证步骤

1. 使用以下YAML内容，创建redis-demo.yaml文件。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: redis-demo-config
   data:
     redis-config: |
       appendonly yes
       appendfsync no
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: redis-demo
     labels:
       koordinator.sh/qosClass: 'LS' # 指定Redis实例的QoS级别为LS。
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "auto"}' # 增加容器内存QoS的配置。
   spec:
     containers:
     - name: redis
       image: redis:5.0.4
       command:
         - redis-server
         - "/redis-master/redis.conf"
       env:
       - name: MASTER
         value: "true"
       ports:
       - containerPort: 6379
       resources:
         limits:
           cpu: "2"
           memory: "6Gi"
         requests:
           cpu: "2"
           memory: "2Gi"
       volumeMounts:
       - mountPath: /redis-master-data
         name: data
       - mountPath: /redis-master
         name: config
     volumes:
       - name: data
         emptyDir: {}
       - name: config
         configMap:
           name: redis-demo-config
           items:
           - key: redis-config
             path: redis.conf
     nodeName: # nodeName需修改为测试节点的nodeName。
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: redis-demo
   spec:
     ports:
     - name: redis-port
       port: 6379
       protocol: TCP
       targetPort: 6379
     selector:
       name: redis-demo
     type: ClusterIP

2. 执行以下命令，部署Redis Server作为目标评测应用。

   您可通过Service redis-demo进行集群内访问。

   kubectl apply -f redis-demo.yaml

3. 模拟内存超卖场景。

   使用Stress工具制造较大的节点内存压力，触发系统内存回收，节点上已分配Pod的内存Limit之和已超过整机大小。

   1. 使用以下Pod YAML内容，创建stress-demo.yaml文件。

      apiVersion: v1
      kind: Pod
      metadata:
        name: stress-demo
        labels:
          koordinator.sh/qosClass: 'BE' # 指定Stress实例的QoS级别为BE。
        annotations:
          koordinator.sh/memoryQOS: '{"policy": "auto"}' # 增加Memory QoS功能的配置。
      spec:
        containers:
          - args:
              - '--vm'
              - '2'
              - '--vm-bytes'
              - 11G
              - '-c'
              - '2'
              - '--vm-hang'
              - '2'
            command:
              - stress
            image: polinux/stress
            imagePullPolicy: Always
            name: stress
        restartPolicy: Always
        nodeName: # nodeName需修改为测试节点的nodeName，与Redis的节点相同。

   2. 使用以下命令，部署stress-demo。

      kubectl apply -f stress-demo.yaml

4. 使用以下命令，查看系统的全局最低水位线。

   说明

   由于系统的全局最低水位线较低，对于内存超卖场景可能来不及回收就触发整机OOM，因此通常配合较高的全局最低水位线使用。以内存32 GiB的测试机为例，设置最低水位线为4000000 KB。

   cat /proc/sys/vm/min_free_kbytes

   预期输出：

   4000000

5. 在Pod YAML中，使用memtier-benchmark压测工具发送请求。

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       name: memtier-demo
     name: memtier-demo
   spec:
     containers:
       - command:
           - memtier_benchmark
           - '-s'
           - 'redis-demo'
           - '--data-size'
           - '200000'
           - "--ratio"
           - "1:4"
         image: 'redislabs/memtier_benchmark:1.3.0'
         name: memtier
     restartPolicy: Never
     nodeName: # nodeName需修改为压测节点的nodeName。

6. 使用以下命令，收集memtier-benchmark测试结果。

   kubectl logs -f memtier-demo

7. 在Pod YAML中，通过修改Redis实例和Stress实例的Pod Annotation，测试不同配置下的性能结果。

   apiVersion: v1
   kind: Pod
   metadata:
     name: redis-demo
     labels:
       koordinator.sh/qosClass: 'LS'
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "none"}' # 配置关闭容器内存QoS。
   spec:
     ...
   
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: stress-demo
     labels:
       koordinator.sh/qosClass: 'BE'
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "none"}' # 配置关闭容器内存QoS。
                           

结果分析

当功能全部关闭或开启容器内存QoS时，指标的数据结果如下。

• 全部关闭：不开启容器内存QoS，Pod配置为none。

• 开启容器内存QoS：Pod配置为auto，全部使用自适应配置。

由对比数据可得，在内存超卖场景下，开启容器内存QoS后，Redis应用的时延（Latency）下降了7.9%，吞吐（Throughput）上涨了8.7%，时延和吞吐指标都得到一定的改善。

高级参数配置

容器内存QoS支持Pod级别和集群级别的精细化配置，对于同时支持在Pod Annotation和ConfigMap配置的参数，Pod Annotation配置优先级大于ConfigMap配置。如果Pod Annotation中没有对应配置，ack-koordinator会进一步参考Namespace维度的ConfigMap配置；如果Namespace维度没有对应的配置，ack-koordinator会以集群维度的ConfigMap配置为准。

FAQ

当前已经通过ack-slo-manager的旧版本协议使用了容器内存QoS功能，升级为ack-koordinator后是否继续支持容器内存QoS功能？

旧版本（≤0.8.0）的Pod协议包括两部分。

• 在Pod的Annotation中填写alibabacloud.com/qosClass。

• 在Pod的Annotation中填写alibabacloud.com/memoryQOS。

ack-koordinator保持了对以上旧版本协议的兼容，您可以将组件无缝升级至ack-koordinator。ack-koordinator将对以上旧版本协议兼容至2023年7月30日，我们建议您将原协议资源字段及时升级到新版本。

ack-koordinator各版本对内存QoS功能的适配如下。