Container Service for Kubernetes:ワークロードスケーリングFAQ

Horizontal Pod Autoscaler (HPA) メトリクスの現在のフィールドが不明である場合、kube-controller-managerがモニタリングデータソースからリソースメトリクスを収集できないことを示します。 その結果、HPAはスケーリングを実行できない。

Name:                                                  kubernetes-tutorial-deployment
Namespace:                                             default
Labels:                                                <none>
Annotations:                                           <none>
CreationTimestamp:                                     Mon, 10 Jun 2019 11:46:48  0530
Reference:                                             Deployment/kubernetes-tutorial-deployment
Metrics:                                               ( current / target )
  resource cpu on pods  (as a percentage of request):  <unknown> / 2%
Min replicas:                                          1
Max replicas:                                          4
Deployment pods:                                       1 current / 0 desired
Conditions:
  Type           Status  Reason                   Message
  ----           ------  ------                   -------
  AbleToScale    True    SucceededGetScale        the HPA controller was able to get the target's current scale
  ScalingActive  False   FailedGetResourceMetric  the HPA was unable to compute the replica count: unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)
Events:
  Type     Reason                   Age                      From                       Message
  ----     ------                   ----                     ----                       -------
  Warning  FailedGetResourceMetric  3m3s (x1009 over 4h18m)  horizontal-pod-autoscaler  unable to get metrics for resource cpu: unable to fetch metrics from resource metrics API: the server is currently unable to handle the request (get pods.metrics.k8s.io)

原因1: リソースメトリクスの収集元のデータソースが利用できません

kubectl top podコマンドを実行して、監視対象ポッドのメトリックデータが返されているかどうかを確認します。 メトリックデータが返されない場合は、kubectl get apiserviceコマンドを実行して、metrics-serverコンポーネントが使用可能かどうかを確認します。 次の出力は、返されるデータの例です。

NAME                                   SERVICE                      AVAILABLE   AGE
v1.                                    Local                        True        29h
v1.admissionregistration.k8s.io        Local                        True        29h
v1.apiextensions.k8s.io                Local                        True        29h
v1.apps                                Local                        True        29h
v1.authentication.k8s.io               Local                        True        29h
v1.authorization.k8s.io                Local                        True        29h
v1.autoscaling                         Local                        True        29h
v1.batch                               Local                        True        29h
v1.coordination.k8s.io                 Local                        True        29h
v1.monitoring.coreos.com               Local                        True        29h
v1.networking.k8s.io                   Local                        True        29h
v1.rbac.authorization.k8s.io           Local                        True        29h
v1.scheduling.k8s.io                   Local                        True        29h
v1.storage.k8s.io                      Local                        True        29h
v1alpha1.argoproj.io                   Local                        True        29h
v1alpha1.fedlearner.k8s.io             Local                        True        5h11m
v1beta1.admissionregistration.k8s.io   Local                        True        29h
v1beta1.alicloud.com                   Local                        True        29h
v1beta1.apiextensions.k8s.io           Local                        True        29h
v1beta1.apps                           Local                        True        29h
v1beta1.authentication.k8s.io          Local                        True        29h
v1beta1.authorization.k8s.io           Local                        True        29h
v1beta1.batch                          Local                        True        29h
v1beta1.certificates.k8s.io            Local                        True        29h
v1beta1.coordination.k8s.io            Local                        True        29h
v1beta1.events.k8s.io                  Local                        True        29h
v1beta1.extensions                     Local                        True        29h
...
[v1beta1.metrics.k8s.io                 kube-system/metrics-server   True        29h]
...
v1beta1.networking.k8s.io              Local                        True        29h
v1beta1.node.k8s.io                    Local                        True        29h
v1beta1.policy                         Local                        True        29h
v1beta1.rbac.authorization.k8s.io      Local                        True        29h
v1beta1.scheduling.k8s.io              Local                        True        29h
v1beta1.storage.k8s.io                 Local                        True        29h
v1beta2.apps                           Local                        True        29h
v2beta1.autoscaling                    Local                        True        29h
v2beta2.autoscaling                    Local                        True        29h

apiVersion: apiregistration.k8s.io/v1beta1
kind: APIService
metadata:
  name: v1beta1.metrics.k8s.io
spec:
  service:
    name: metrics-server
    namespace: kube-system
  group: metrics.k8s.io
  version: v1beta1
  insecureSkipTLSVerify: true
  groupPriorityMinimum: 100
  versionPriority: 100

問題が解決しない場合は、ACKコンソールのクラスター詳細ページに移動し、[操作] > [アドオン] を選択して、メトリクスサーバーがインストールされているかどうかを確認します。 詳細については、「metrics-server」をご参照ください。

原因2: ローリング更新またはスケールアウトアクティビティ中にメトリックを収集できません

デフォルトでは、metrics-serverは1分間隔でメトリクスを収集します。 ただし、metrics-serverは、ローリング更新またはスケールアウトアクティビティが完了した後、メトリクスを収集するまで数分待つ必要があります。 ローリング更新またはスケールアウトアクティビティが完了してから2分後にメトリックをクエリすることを推奨します。

原因3: requestフィールドが指定されていません

デフォルトでは、HPAは、リソース使用量 /リソース要求の値を計算することによって、ポッドのCPUまたはメモリ使用量を取得します。 ポッド設定でリソース要求が指定されていない場合、HPAはリソース使用量を計算できません。 したがって、ポッド構成のresourceパラメーターでrequestフィールドが指定されていることを確認する必要があります。

原因4: メトリック名が正しくありません

メトリック名が正しいかどうかを確認します。 メトリック名は大文字と小文字が区別されます。 たとえば、HPAでサポートされているcpuメトリックが誤ってCPUとして書き込まれた場合、currentフィールドにunknownが表示されます。

ローリング更新中、kube-controller-managerは、モニタリングデータを収集できないポッドに対してゼロ充填を実行します。 これにより、HPAが過剰な数のポッドを追加する可能性があります。 この問題を修正するには、次の手順を実行します。

クラスター内のすべてのワークロードでこの問題を修正

# Add the following configuration to the startup settings of metrics-server. 
--enable-hpa-rolling-update-skipped=true  

特定のワークロードに対するこの問題の修正

次のいずれかの方法を使用して、特定のワークロードでこの問題を修正できます。

• 方法1: ローリング更新中にHPAをスキップするために、ワークロードのテンプレートに次のアノテーションを追加します。

  # Add the following annotation to the spec.template.metadata.annotations parameter of the workload configuration to skip HPA during rolling updates. 
  HPARollingUpdateSkipped: "true"

  サンプルコードを表示する

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
      template:
          metadata:
            labels:
              app: nginx
            annotations:
              HPARollingUpdateSkipped: "true"  # Skip HPA during rolling updates. 
          spec:
            containers:
            - name: nginx
              image: nginx:1.7.9
              ports:
              - containerPort: 80

• 方法2: ワークロードのテンプレートに次の注釈を追加して、更新をローリングする前にウォームアップ期間をスキップします。

  # Add the following annotation to the spec.template.metadata.annotations parameter of the workload configuration to skip the warm-up period before rolling updates. 
  HPAScaleUpDelay: 3m # You can change the value based on your business requirements.

  サンプルコードを表示する

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: nginx-deployment-basic
    labels:
      app: nginx
  spec:
    replicas: 2
    selector:
      matchLabels:
        app: nginx
      template:
          metadata:
            labels:
              app: nginx
            annotations:
              HPAScaleUpDelay: 3m  # This setting indicates that HPA takes effect 3 minutes after the pods are created. Valid units: s and m. s indicates seconds and m indicates minutes. 
          spec:
            containers:
            - name: nginx
              image: nginx:1.7.9
              ports:
              - containerPort: 80

次のYAMLテンプレートは、このシナリオでHPAが誤ってスケーリングアクティビティをトリガーしないようにするポッド構成のサンプルを提供します。

## In this example, a Deployment is used.
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-basic
  labels:
    app: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
      annotations:
        HPAScaleUpDelay: 3m # This setting indicates that HPA takes effect 3 minutes after the pods are created. Valid units: s and m. s indicates seconds and m indicates minutes. 
    spec:
      containers:
      - name: nginx
        image: nginx:1.7.9 # Replace it with your exactly <image_name:tags>.
        ports:
        - containerPort: 80 

次の理由により、一致するポッドの数が不正確になる可能性があります。

• ローリングアップデートが進行中です。

• scaleTargetRefパラメーターで指定されたオブジェクトに属さないポッドには、scaleサブリソースのstatusセクションのSelectorフィールドで指定されたラベルがあります。 次のコマンドを実行してポッドを照会します。

  kubectl get pods -n {Namespace} -l {Value of the Selector field in the status section of the subresource named scale}