Container Service for Kubernetes：Auto ScalingFAQ

為目標節點配置Node Annotation "cluster-autoscaler.kubernetes.io/scale-down-disabled": "true"，使其不被cluster-autoscaler縮容。添加Annotation的命令樣本如下。

kubectl annotate node <nodename> cluster-autoscaler.kubernetes.io/scale-down-disabled=true

請檢查是否存在如下幾種情境：

• 配置伸縮組的執行個體類型無法滿足Pod的資源申請（Request）。ECS執行個體規格給出的資源大小是執行個體的售賣規格，實際運行時請考慮以下資源預留。

  • 在建立執行個體的過程中會因虛擬化、作業系統等佔用部分資源。更多資訊，請參見購買執行個體後查看記憶體大小，為什麼和購買時的執行個體規格定義不一致？。

  • 需要佔用一定的節點資源來運行相關組件（例如kubelet、kube-proxy、Terway、Container Runtime等）。詳細資料，請參見節點資源預留策略。

  • 預設節點會安裝系統組件，Pod的申請資源要小於執行個體的規格。

• 對可用性區域有約束的Pod，無法觸發配置了多可用性區域的節點池擴容。

• 是否完整按照步驟執行了授權操作。授權操作是叢集維度，需要每個叢集操作一次。關於授權，請參見啟用節點自動調整。

• 開啟自動調整的節點池中出現如下異常情況。

  • 執行個體未加入到叢集且逾時。

  • 節點未ready且逾時。

  為保證後續擴縮準確性，彈性組件以阻尼方式處理異常情況，在處理完異常情況節點前，不進行擴縮容。

請檢查是否存在如下幾種情境：

• 節點Pod的資源申請（Request）閾值高於設定的縮容閾值。

• 節點上運行kube-system命名空間的Pod。

• 節點上的Pod包含強制的調度策略，導致其他節點無法運行此Pod。

• 節點上的Pod擁有PodDisruptionBudget，且到達了PodDisruptionBudget的最小值。

您可以指定Pod阻止或不阻止節點被cluster-autoscaler組件縮容。

• 阻止節點被縮容：為Pod添加Annotation "cluster-autoscaler.kubernetes.io/safe-to-evict": "false"。

• 不阻止節點被縮容：為Pod添加Annotation "cluster-autoscaler.kubernetes.io/safe-to-evict": "true" 。

當HPA的監控資料的current欄位顯示為unknown時，表示kube-controller-manager無法訪問監控資料來源擷取對應的監控資料，HPA擴縮容時會失敗。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因如下：

• 原因一：Resource Metrics資料來源無法使用。請先執行命令kubectl top pod檢查是否返回資料。如果所有的Pod都無資料，請執行kubectl get apiservice檢查當前提供Resource Metrics的資料來源的情況。返回的樣本資料如下。

  展開查看返回的樣本資料

  NAME                                   SERVICE                      AVAILABLE   AGE
  v1.                                    Local                        True        29h
  v1.admissionregistration.k8s.io        Local                        True        29h
  v1.apiextensions.k8s.io                Local                        True        29h
  v1.apps                                Local                        True        29h
  v1.authentication.k8s.io               Local                        True        29h
  v1.authorization.k8s.io                Local                        True        29h
  v1.autoscaling                         Local                        True        29h
  v1.batch                               Local                        True        29h
  v1.coordination.k8s.io                 Local                        True        29h
  v1.monitoring.coreos.com               Local                        True        29h
  v1.networking.k8s.io                   Local                        True        29h
  v1.rbac.authorization.k8s.io           Local                        True        29h
  v1.scheduling.k8s.io                   Local                        True        29h
  v1.storage.k8s.io                      Local                        True        29h
  v1alpha1.argoproj.io                   Local                        True        29h
  v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
  v1beta1.admissionregistration.k8s.io   Local                        True        29h
  v1beta1.alicloud.com                   Local                        True        29h
  v1beta1.apiextensions.k8s.io           Local                        True        29h
  v1beta1.apps                           Local                        True        29h
  v1beta1.authentication.k8s.io          Local                        True        29h
  v1beta1.authorization.k8s.io           Local                        True        29h
  v1beta1.batch                          Local                        True        29h
  v1beta1.certificates.k8s.io            Local                        True        29h
  v1beta1.coordination.k8s.io            Local                        True        29h
  v1beta1.events.k8s.io                  Local                        True        29h
  v1beta1.extensions                     Local                        True        29h
  ...
  [v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
  ...
  v1beta1.networking.k8s.io              Local                        True        29h
  v1beta1.node.k8s.io                    Local                        True        29h
  v1beta1.policy                         Local                        True        29h
  v1beta1.rbac.authorization.k8s.io      Local                        True        29h
  v1beta1.scheduling.k8s.io              Local                        True        29h
  v1beta1.storage.k8s.io                 Local                        True        29h
  v1beta2.apps                           Local                        True        29h
  v2beta1.autoscaling                    Local                        True        29h
  v2beta2.autoscaling                    Local                        True        29h

  如果v1beta1.metrics.k8s.io所對應的API Service不是kube-system/metrics-server，檢查是否由於安裝Prometheus Operator覆蓋導致。如果是覆蓋導致的問題，可以通過部署以下的YAML模板進行恢複。

  apiVersion: apiregistration.k8s.io/v1beta1
  kind: APIService
  metadata:
    name: v1beta1.metrics.k8s.io
  spec:
    service:
      name: metrics-server
      namespace: kube-system
    group: metrics.k8s.io
    version: v1beta1
    insecureSkipTLSVerify: true
    groupPriorityMinimum: 100
    versionPriority: 100

  如果非上述問題，請確認已在叢集的營運管理>組件管理頁面安裝了metrics-server組件。更多資訊，請參見metrics-server。

• 原因二：滾動發布或擴容時無法擷取資料。

  預設metrics-server的採集周期是1 min。剛擴容或更新完成後，metrics-server會有一段時間無法擷取監控資料。請於擴容或更新後2 min左右進行查看。

• 原因三：未配置request欄位。

  HPA預設是通過實際的利用率/request作為利用率的數值，因此可以檢查Pod的resource欄位中是否包含request欄位。

• 原因四：指標名填寫錯誤。請檢查指標名（包括大小寫）是否正確。例如，如果將HPA支援的cpu指標誤寫為CPU，監控資料current欄位會顯示為unknown。

社區Controller Manager在滾動發布時，對於沒有監控資料的Pod，進行監控資料的補零操作，從而有一定的機率出現擴容出多餘的Pod現象（多彈現象）。您可以通過以下配置防止多彈。

• 叢集維度配置。

  您可以通過升級ACK提供的最新版metrics-server，並在metrics-server的啟動參數上開啟開關防止多彈。

  這是全域開關，設定後對叢集內所有相關負載生效。

  # 在metrics-server的啟動參數中加入以下選項。
  --enable-hpa-rolling-update-skipped=true  

• 工作負載維度配置。如果只想對指定的工作負載開啟防止多彈，您可以使用以下兩種方法防止多彈。

  • 方法一：通過在指定工作負載的模板中添加以下Annotation，可以在滾動發布時臨時暫停HPA的判斷生效。

    ##工作負載的spec.template.metadata.annotations加入Annotation，滾動發布時臨時暫停HPA的判斷生效。
    HPARollingUpdateSkipped: "true"

    展開查看範例程式碼詳情

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment-basic
      labels:
        app: nginx
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: nginx
        template:
            metadata:
              labels:
                app: nginx
              annotations:
                HPARollingUpdateSkipped: "true"  # 跳過滾動發布時的HPA的效果。
            spec:
              containers:
              - name: nginx
                image: nginx:1.7.9
                ports:
                - containerPort: 80

  • 方法二：通過在指定工作負載的模板中添加以下Annotation，可以在應用發布開始階段跳過設定的預熱時間段。

    ##工作負載的spec.template.metadata.annotations加入Annotation,在應用發布開始階段跳過設定的預熱的時間段。
    HPAScaleUpDelay: 3m # 3m僅為樣本，具體時間段請按需設定

    展開查看範例程式碼詳情

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment-basic
      labels:
        app: nginx
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: nginx
        template:
            metadata:
              labels:
                app: nginx
              annotations:
                HPAScaleUpDelay: 3m  # m代表分鐘，表示HPA在Pod建立3分鐘後開始生效，可選單位為[s（秒），m（分）]。
            spec:
              containers:
              - name: nginx
                image: nginx:1.7.9
                ports:
                - containerPort: 80

增加開關防止誤觸發部署樣本YAML如下。

## 以Deployment為例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # m代表分鐘，表示HPA在Pod建立3分鐘後開始生效，可選單位為[s（秒）,m（分）]。
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # Replace it with your exactly <image_name:tags>.
        ports:
        - containerPort: 80 

常見可能導致匹配Pod數目不準確的原因：

• 滾動發布。

• 給其他不屬於scaleTargetRef中對象的Pod打標了相同Label。執行如下命令，可判斷是否有其他Pod。

  kubectl get pods -n {命名空間名字} -l {scale子資源的status.Selector的值}