Container Service for Kubernetes：啟用容器記憶體QoS

費用說明

ack-koordinator組件本身的安裝和使用是免費的，不過需要注意的是，在以下情境中可能產生額外的費用：

• ack-koordinator是非託管組件，安裝後將佔用Worker節點資源。您可以在安裝組件時配置各模組的資源申請量。

• ack-koordinator預設會將資源畫像、精細化調度等功能的監控指標以Prometheus的格式對外透出。若您配置組件時開啟了ACK-Koordinator開啟Prometheus監控指標選項並使用了阿里雲Prometheus服務，這些指標將被視為自訂指標併產生相應費用。具體費用取決於您的叢集規模和應用數量等因素。建議您在啟用此功能前，仔細閱讀阿里雲Prometheus計費說明，瞭解自訂指標的免費額度和收費策略。您可以通過賬單和用量查詢，監控和管理您的資源使用方式。

配置說明

當您為Pod開啟容器記憶體QoS時，記憶體cgroup參數將基於係數配置和Pod參數自適應調整。您可以參見下文，在單個Pod維度、叢集全域維度或叢集下命名空間維度開啟容器記憶體QoS並配置相關參數。

annotations:
  # 設定為auto，表示開啟該Pod的容器記憶體QoS功能。
  koordinator.sh/memoryQOS: '{"policy": "auto"}'
  # 設定為none，表示關閉該Pod的容器記憶體QoS功能。
  koordinator.sh/memoryQOS: '{"policy": "none"}'

操作步驟

本小節以一個Redis應用為例，使用以下評測環境進行測試，展示在記憶體超賣情境下，關閉或開啟ACK容器記憶體QoS時，樣本應用的時延和吞吐效能表現差異。

• 使用ACK叢集Pro版。

• 叢集內包含兩個節點：壓測節點（規格為8 Core 32 GB）、測試節點（規格為8 Core 32 GB）。

驗證步驟

1. 使用以下YAML內容，建立redis-demo.yaml檔案。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: redis-demo-config
   data:
     redis-config: |
       appendonly yes
       appendfsync no
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: redis-demo
     labels:
       koordinator.sh/qosClass: 'LS' # 指定Redis執行個體的QoS層級為LS。
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "auto"}' # 增加容器記憶體QoS的配置。
   spec:
     containers:
     - name: redis
       image: redis:5.0.4
       command:
         - redis-server
         - "/redis-master/redis.conf"
       env:
       - name: MASTER
         value: "true"
       ports:
       - containerPort: 6379
       resources:
         limits:
           cpu: "2"
           memory: "6Gi"
         requests:
           cpu: "2"
           memory: "2Gi"
       volumeMounts:
       - mountPath: /redis-master-data
         name: data
       - mountPath: /redis-master
         name: config
     volumes:
       - name: data
         emptyDir: {}
       - name: config
         configMap:
           name: redis-demo-config
           items:
           - key: redis-config
             path: redis.conf
     nodeName: # nodeName需修改為測試節點的nodeName。
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: redis-demo
   spec:
     ports:
     - name: redis-port
       port: 6379
       protocol: TCP
       targetPort: 6379
     selector:
       name: redis-demo
     type: ClusterIP

2. 執行以下命令，部署Redis Server作為目標評測應用。

   您可通過Service redis-demo進行叢集內訪問。

   kubectl apply -f redis-demo.yaml

3. 類比記憶體超賣情境。

   使用Stress工具製造較大的節點記憶體壓力，觸發系統記憶體回收，節點上已指派Pod的記憶體Limit之和已超過整機大小。

   1. 使用以下Pod YAML內容，建立stress-demo.yaml檔案。

      apiVersion: v1
      kind: Pod
      metadata:
        name: stress-demo
        labels:
          koordinator.sh/qosClass: 'BE' # 指定Stress執行個體的QoS層級為BE。
        annotations:
          koordinator.sh/memoryQOS: '{"policy": "auto"}' # 增加Memory QoS功能的配置。
      spec:
        containers:
          - args:
              - '--vm'
              - '2'
              - '--vm-bytes'
              - 11G
              - '-c'
              - '2'
              - '--vm-hang'
              - '2'
            command:
              - stress
            image: polinux/stress
            imagePullPolicy: Always
            name: stress
        restartPolicy: Always
        nodeName: # nodeName需修改為測試節點的nodeName，與Redis的節點相同。

   2. 使用以下命令，部署stress-demo。

      kubectl apply -f stress-demo.yaml

4. 使用以下命令，查看系統的全域最低水位線。

   說明

   由於系統的全域最低水位線較低，對於記憶體超賣情境可能來不及回收就觸發整機OOM，因此通常配合較高的全域最低水位線使用。以記憶體32 GiB的測試機為例，設定最低水位線為4000000 KB。

   cat /proc/sys/vm/min_free_kbytes

   預期輸出：

   4000000

5. 在Pod YAML中，使用memtier-benchmark壓測工具發送請求。

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       name: memtier-demo
     name: memtier-demo
   spec:
     containers:
       - command:
           - memtier_benchmark
           - '-s'
           - 'redis-demo'
           - '--data-size'
           - '200000'
           - "--ratio"
           - "1:4"
         image: 'redislabs/memtier_benchmark:1.3.0'
         name: memtier
     restartPolicy: Never
     nodeName: # nodeName需修改為壓測節點的nodeName。

6. 使用以下命令，收集memtier-benchmark測試結果。

   kubectl logs -f memtier-demo

7. 在Pod YAML中，通過修改Redis執行個體和Stress執行個體的Pod Annotation，測試不同配置下的效能結果。

   apiVersion: v1
   kind: Pod
   metadata:
     name: redis-demo
     labels:
       koordinator.sh/qosClass: 'LS'
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "none"}' # 配置關閉容器記憶體QoS。
   spec:
     ...
   
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: stress-demo
     labels:
       koordinator.sh/qosClass: 'BE'
     annotations:
       koordinator.sh/memoryQOS: '{"policy": "none"}' # 配置關閉容器記憶體QoS。
                           

結果分析

當功能全部關閉或開啟容器記憶體QoS時，指標的資料結果如下。

• 全部關閉：不開啟容器記憶體QoS，Pod配置為none。

• 開啟容器記憶體QoS：Pod配置為auto，全部使用自適應配置。

由對比資料可得，在記憶體超賣情境下，開啟容器記憶體QoS後，Redis應用的時延（Latency）下降了7.9%，吞吐（Throughput）上漲了8.7%，時延和吞吐指標都得到一定的改善。

進階參數配置

容器記憶體QoS支援Pod層級和叢集層級的精細化配置，對於同時支援在Pod Annotation和ConfigMap配置的參數，Pod Annotation配置優先順序大於ConfigMap配置。如果Pod Annotation中沒有對應配置，ack-koordinator會進一步參考Namespace維度ConfigMap配置；如果Namespace維度沒有對應的配置，ack-koordinator會以叢集維度ConfigMap配置為準。

FAQ

當前已經通過ack-slo-manager的舊版本協議使用了容器記憶體QoS功能，升級為ack-koordinator後是否繼續支援容器記憶體QoS功能？

舊版本（≤0.8.0）的Pod協議包括兩部分。

• 在Pod的Annotation中填寫alibabacloud.com/qosClass。

• 在Pod的Annotation中填寫alibabacloud.com/memoryQOS。

ack-koordinator保持了對以上舊版本協議的相容，您可以將組件無縫升級至ack-koordinator。ack-koordinator將對以上舊版本協議相容至2023年7月30日，我們建議您將原協議資源欄位及時升級到新版本。

ack-koordinator各版本對記憶體QoS功能的適配如下。