Container Service for Kubernetes：啟用重調度功能

閱讀前提示

• 使用本文前，建議您已參見重調度概述瞭解重調度的功能介紹、使用情境、工作流程和基本概念。

• 本文以節點汙點校正外掛程式RemovePodsViolatingNodeTaints為例，請參見Kubernetes官方文檔瞭解汙點和容忍度的工作原理、驅逐效果（例如NoSchedule）等概念。

• 如果您是社區Kubernetes Descheduler使用者，建議您參見Koordinator Descheduler與Kubernetes Descheduler瞭解Koordinator Descheduler與Kubernetes Descheduler的差異，並完成組件的遷移。

• 如果您已經瞭解基礎使用方法，需要瞭解系統、模板概要、策略外掛程式、驅逐器外掛程式的進階配置參數以實現更精細化的重調度策略，可直接閱讀進階配置參數。

前提條件

• 已建立ACK叢集Pro版。具體操作，請參見通過Terraform建立ACK託管叢集。

  說明

  重調度功能不支援在虛擬節點中使用。

• 已通過kubectl工具串連叢集。具體操作，請參見擷取叢集KubeConfig並通過kubectl工具串連叢集。

注意事項

• Koordinator Descheduler只負責驅逐正在啟動並執行Pod，並不負責Pod驅逐後的重建以及調度。Pod被驅逐後的重建由其工作負載對應的Controller實現（例如Deployment、StatefulSet），重建後Pod的調度流程仍然調度器負責。

• 重調度在執行過程中會先驅逐舊Pod，再建立新Pod。請確保您的應用有充足的冗餘副本（replicas），避免驅逐時影響應用可用性。

樣本說明

本文以開啟節點汙點校正外掛程式RemovePodsViolatingNodeTaints為例，介紹如何基於ack-koordinator組件開啟重調度功能，並實現重調度策略。

RemovePodsViolatingNodeTaints策略預設檢查並驅逐違反了節點上effect為NoSchedule的汙點的Pod。例如，對於一個已經有Pod在啟動並執行節點，當管理員在節點上新增一個汙點deschedule=not-allow:NoSchedule後，若節點上的Pod沒有配置相應的容忍策略，則Pod就會被該重調度策略驅逐。更多資訊，請參見RemovePodsViolatingNodeTaints。

RemovePodsViolatingNodeTaints策略支援通過excludedTaints欄位定義哪些節點汙點不在策略的考慮範圍內。如果節點上的任何汙點的鍵（key）或索引值對（key=value）與 excludedTaints 列表中的條目匹配，那麼策略會自動忽略這些汙點。

本樣本將該外掛程式對汙點的檢查配置為：

• 節點上存在effect為NoSchedule的汙點屬性。

• 在NoSchedule的汙點屬性中，key不等於deschedule，且value不等於not-allow。

在符合以上要求的節點上，如果已經完成調度並運行中的Pod未配置相應的容忍策略，則會被重調度器驅逐。

步驟一：安裝或修改ack-koordinator組件並開啟重調度

您可以參見本小節步驟安裝ack-koordinator組件，使用其提供的Koordinator Descheduler重調度器功能。Koordinator Descheduler會以Deployment的形式部署在節點上。

1. 登入Container Service管理主控台，在左側導覽列選擇叢集。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇營運管理 > 組件管理。

3. 定位ack-koordinator組件，單擊右下角的安裝，在安裝對話方塊上面勾選開啟重調度模組，按頁面提示完成組件的配置和安裝。

步驟二：開啟重調度外掛程式RemovePodsViolatingNodeTaints

1. 使用如下YAML檔案，建立koord-descheduler-config.yaml。

   koord-descheduler-config.yaml是ConfigMap格式的對象，用於啟用和配置重調度外掛程式RemovePodsViolatingNodeTaints。

   # koord-descheduler-config.yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: koord-descheduler-config
     namespace: kube-system
   data:
     koord-descheduler-config: |
       # 以下為Koordinator Descheduler系統配置，請保持不變。
       apiVersion: descheduler/v1alpha2
       kind: DeschedulerConfiguration
       leaderElection:
         resourceLock: leases
         resourceName: koord-descheduler
         resourceNamespace: kube-system
       deschedulingInterval: 120s # 執行循環間隔，120s執行一次重調度外掛程式。
       dryRun: false # 全域唯讀模式開關，開啟後Koordinator Descheduler整體不做任何操作。
       # 以上為系統配置。
   
       profiles:
       - name: koord-descheduler
         plugins:
           deschedule:
             enabled:
               - name: RemovePodsViolatingNodeTaints  # 配置開啟節點汙點校正外掛程式。        
   
         pluginConfig:             
         - name: RemovePodsViolatingNodeTaints # 節點汙點校正外掛程式配置。
           args:        
             excludedTaints: 
             - deschedule=not-allow # 忽略包含key為"deschedule"且value為"not-allow"的汙點的節點。

2. 執行如下命令，部署koord-descheduler-config.yaml，將配置更新到叢集中。

   kubectl apply -f koord-descheduler-config.yaml

3. 執行如下命令，重啟重調度器模組Koordinator Descheduler。

   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 0
   # 預期輸出
   # deployment.apps/ack-koord-descheduler scaled
   kubectl -n kube-system scale deploy ack-koord-descheduler --replicas 1
   # 預期輸出
   # deployment.apps/ack-koord-descheduler scaled

   通過將ack-koord-descheduler的Deployment副本數量設定為0，然後再設定為1，重調度器模組Koordinator Descheduler將重啟啟動，並在啟動後使用最新配置。

步驟三：驗證重調度能力

下文以擁有3台節點的叢集為例進行說明。

1. 使用如下YAML檔案，建立stress-demo.yaml。

   stress-demo.yaml中定義了一個應用程式範例。

   展開查看YAML樣本

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stress-demo
     namespace: default
     labels:
       app: stress-demo
   spec:
     replicas: 3
     selector:
       matchLabels:
         app: stress-demo
     template:
       metadata:
         name: stress-demo
         labels:
           app: stress-demo
       spec:
         containers:
           - args:
               - '--vm'
               - '2'
               - '--vm-bytes'
               - '1600M'
               - '-c'
               - '2'
               - '--vm-hang'
               - '2'
             command:
               - stress
             image: registry-cn-beijing.ack.aliyuncs.com/acs/stress:v1.0.4
             imagePullPolicy: Always
             name: stress
             resources:
               limits:
                 cpu: '2'
                 memory: 4Gi
               requests:
                 cpu: '2'
                 memory: 4Gi
         restartPolicy: Always

2. 執行以下命令，部署stress-demo.yaml，建立測試Pod。

   kubectl create -f stress-demo.yaml

3. 執行如下命令，觀察Pod的狀態，直至開始運行。

   kubectl get pod -o wide

   預期輸出：

   NAME                         READY   STATUS    RESTARTS   AGE    IP              NODE                        NOMINATED NODE   READINESS GATES
   stress-demo-5f6cddf9-9****   1/1     Running   0          10s    192.XX.XX.27   cn-beijing.192.XX.XX.247   <none>           <none>
   stress-demo-5f6cddf9-h****   1/1     Running   0          10s    192.XX.XX.20   cn-beijing.192.XX.XX.249   <none>           <none>
   stress-demo-5f6cddf9-v****   1/1     Running   0          10s    192.XX.XX.32   cn-beijing.192.XX.XX.248   <none>           <none>

4. 執行如下命令，分別為節點增加汙點key=value:NoSchedule。

   • 為節點cn-beijing.192.XX.XX.247增加deschedule=not-allow:NoSchedule汙點。

     kubectl taint nodes cn-beijing.192.XX.XX.247 deschedule=not-allow:NoSchedule

     預期輸出：

     node/cn-beijing.192.XX.XX.247 tainted

   • 為節點cn-beijing.192.XX.XX.248增加deschedule=allow:NoSchedule汙點。

     kubectl taint nodes cn-beijing.192.XX.XX.248 deschedule=allow:NoSchedule

     預期輸出：

     node/cn-beijing.192.XX.XX.248 tainted

5. 執行如下命令，觀察Pod變化。

   kubectl get pod -o wide -w

   等待重調度器檢查節點汙點，並執行驅逐遷移操作。

   預期輸出：

   NAME                         READY   STATUS              RESTARTS   AGE     IP             NODE                    NOMINATED NODE   READINESS GATES
   stress-demo-5f6cddf9-9****   1/1     Running             0          5m34s   192.XX.XX.27   cn-beijing.192.XX.XX.247   <none>           <none>
   stress-demo-5f6cddf9-h****   1/1     Running             0          5m34s   192.XX.XX.20   cn-beijing.192.XX.XX.249   <none>           <none>
   stress-demo-5f6cddf9-v****   1/1     Running             0          5m34s   192.XX.XX.32   cn-beijing.192.XX.XX.248   <none>           <none>
   stress-demo-5f6cddf9-v****   1/1     Terminating         0          7m58s   192.XX.XX.32   cn-beijing.192.XX.XX.248   <none>           <none>
   stress-demo-5f6cddf9-j****   0/1     ContainerCreating   0          0s      <none>         cn-beijing.192.XX.XX.249   <none>           <none>
   stress-demo-5f6cddf9-j****   1/1     Running             0          2s      192.XX.XX.32   cn-beijing.192.XX.XX.249   <none>           <none>

   預期輸出表明：

   • 增加了deschedule=allow:NoSchedule汙點的節點cn-beijing.192.XX.XX.248上的Podstress-demo-5f6cddf9-v****被驅逐。

   • 增加了deschedule=not-allow:NoSchedule汙點的節點cn-beijing.192.XX.XX.247上的Podstress-demo-5f6cddf9-9****沒有被驅逐。

   • 被驅逐的Podstress-demo-5f6cddf9-v****重新調度到沒有NoSchedule汙點的節點cn-beijing.192.XX.XX.249。

6. 執行如下命令，觀察被驅逐Pod的Event。

   kubectl get event | grep stress-demo-5f6cddf9-v****

   預期輸出：

   3m24s       Normal    Evicting            podmigrationjob/b0fba65f-7fab-4a99-96a9-c71a3798****   Pod "default/stress-demo-5f6cddf9-v****" evicted from node "cn-beijing.192.XX.XX.248" by the reason "RemovePodsViolatingNodeTaints"
   2m51s       Normal    EvictComplete       podmigrationjob/b0fba65f-7fab-4a99-96a9-c71a3798****   Pod "default/stress-demo-5f6cddf9-v****" has been evicted
   3m24s       Normal    Descheduled         pod/stress-demo-5f6cddf9-v****                         Pod evicted from node "cn-beijing.192.XX.XX.248" by the reason "RemovePodsViolatingNodeTaints"
   3m24s       Normal    Killing             pod/stress-demo-5f6cddf9-v****                         Stopping container stress

   預期輸出中顯示了Pod的遷移記錄，此Pod所在節點cn-beijing.192.XX.XX.248沒有容忍汙點deschedule=not-allow，導致該Pod被重調度到其他節點。結果符合預期。

進階配置參數

除了上述標準操作之外，您還可以使用ConfigMap對Koordinator Descheduler進行進階配置。

進階配置參數樣本

下方YAML展示了Koordinator Descheduler的進階配置參數樣本。該配置通過DeschedulerConfigurationAPI修改Koordinator Descheduler的行為，開啟了RemovePodsViolatingNodeTaint節點汙點校正重調度策略，並使用MigrationController作為Pod的驅逐器。

您可結合後續章節的說明，瞭解樣本配置中各欄位的詳細含義。

# koord-descheduler-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: koord-descheduler-config
  namespace: kube-system
data:
  koord-descheduler-config: |
    # 以下為Koordinator Descheduler系統配置，請保持不變。
    apiVersion: descheduler/v1alpha2
    kind: DeschedulerConfiguration
    leaderElection:
      resourceLock: leases
      resourceName: koord-descheduler
      resourceNamespace: kube-system
    dryRun: false # 全域唯讀模式開關，開啟後Koordinator Descheduler整體不做任何操作。  
    deschedulingInterval: 120s # 執行循環間隔，120s執行一次重調度外掛程式。
    nodeSelector: # 全域參與重調度的節點。預設對全部節點進行重調度。
      deschedule: allow # 表示只處理含有key為deschedule，value為allow的節點。
    maxNoOfPodsToEvictPerNode: 10 # 全域生效的單節點最大可驅逐Pod數量限制，預設不限制。
    maxNoOfPodsToEvictPerNamespace: 10 # 全域生效的單命名空間最大可驅逐Pod數量限制，預設不限制。
    # 以上為系統配置。

    # 以下為模板列表。
    profiles: 
    - name: koord-descheduler # 模板名稱。
      # 以下為模板概要配置，表示具體啟用的外掛程式。
      plugins: 
        deschedule: # deschedule類型策略。預設全部禁用。
          enabled: # enabled表示開啟的外掛程式。不在enabled中顯式開啟的其他外掛程式會被全部禁用。
            - name: RemovePodsViolatingNodeTaints  # 配置開啟節點汙點校正外掛程式。
        balance: # balance類型策略。預設全部禁用。
          disabled: # disabled表示禁用的外掛程式。
            - name: "*" # *表示全部禁用。
        evict:          
          enabled:
            - name: MigrationController # 驅逐器。預設開啟驅逐遷移控制器。
        filter: 
          enabled:
            - name: MigrationController # 驅逐篩選策略。預設使用驅逐遷移控制器的驅逐篩選策略。
      # 以上為模板概要配置。

      # 以下為外掛程式列表，包括策略外掛程式和驅逐器外掛程式。
      pluginConfig: 
      # 以下為策略外掛程式RemovePodsViolatingNodeTaints的配置。
      - name: RemovePodsViolatingNodeTaints
        args:
          excludedTaints:
          - deschedule=not-allow # 忽略包含key為"deschedule"且value為"not-allow"的汙點的節點
          - reserved # 忽略包含key為"reserved"的汙點的節點
          includePreferNoSchedule: false # 是否考慮effect為PreferNoSchedule的汙點。預設只考慮effect為NoSchedule的汙點。
          namespaces: # 參與重調度的Namespace，include和exclude是互斥的，只能配置其中一種。
            include: # include表示只處理下面配置的Namespace。
              - "namespace1"
              - "namespace2"
            # exclude: # exclude表示需要排除的Namespace。
            #   - "namespace1"
            #   - "namespace2"
          labelSelector: # 參與重調度的Pod。預設全部Pod參與重調度。
            accelerator: nvidia-tesla-p100 # 表示只處理含有key為accelerator，value為nvidia-tesla-p100的標籤的Pod。     
    
      # 以下為驅逐器外掛程式MigrationController的配置。     
      - name: MigrationController # 重調度遷移控制參數。
        args:
          apiVersion: descheduler/v1alpha2
          kind: MigrationControllerArgs  
          evictLocalStoragePods: false # 是否允許配置了HostPath或EmptyDir的Pod參與重調度        
          maxMigratingPerNode: 1 # 每個節點處於遷移狀態的Pod的最大數量。
          maxMigratingPerNamespace: 1  # 每個Namespace處於遷移狀態的Pod的最大數量。
          maxMigratingPerWorkload: 1 # 每個Workload（例如Deployment）中處於遷移狀態的Pod的最大數量。
          maxUnavailablePerWorkload: 2 # 每個Workload（例如Deployment）最大不可用副本數。
          objectLimiters:
            workload: # Workload層級Pod遷移的流量控制。預設為首次驅逐後，5分鐘內最多遷移1個副本。
              duration: 5m
              maxMigrating: 1
          evictionPolicy: Eviction # 底層的Pod驅逐方法。預設為調用Eviction API驅逐。       

nodeSelector:
  deschedule: allow

type MigrationObjectLimiter struct {
    Duration time.Duration `json:"duration,omitempty"`
    MaxMigrating *intstr.IntOrString `json:"maxMigrating,omitempty"`
}

objectLimiters:
  workload:
    duration: 5m
    maxMigrating: 1

相關文檔

• 部分重調度功能依賴需要與ACK調度器配合使用，請參見使用負載熱點打散重調度。

• 您可以搭配啟用成本洞察功能，瞭解叢集資源使用量及成本分布，擷取成本節約建議，從而提升叢集資源使用率。更多資訊，請參見成本洞察概述。

• 如果您在使用調度功能中遇到問題，可參見調度FAQ進行排查。

• 關於ack-koordinator組件的詳細介紹及變更記錄，請參見ack-koordinator（ack-slo-manager）。

• ack-descheduler已停止維護，建議您遷移至當前維護的組件模組Koordinator Descheduler。更多資訊，請參見如何將ack-descheduler遷移至Koordinator Descheduler。