容器服务 Kubernetes 版 ACK：通过AHPA配置自定义指标以实现应用扩缩

工作原理

指标暴露：应用通过HTTP端点（如/metrics）以Prometheus格式暴露业务指标，如requests_per_second。 指标采集：集群中的ARMS Prometheus Agent发现并定期抓取应用暴露的指标数据，并将其存储在ARMS Prometheus中。 指标查询：AHPA Controller周期性地向外部指标API发起查询请求，以获取自定义指标的当前值。 指标适配：该请求被转发给ack-alibaba-cloud-metrics-adapter。Metrics Adapter将这个查询请求“翻译”为PromQL查询语句，并发送给ARMS Prometheus。 数值返回：ARMS Prometheus执行查询后，将结果返回给Adapter。 结果上报：Metrics Adapter将结果上报给AHPA Controller。 伸缩决策：AHPA Controller根据当前指标值和预设的目标阈值计算预期Pod副本数，并调整目标Deployment的replicas数量，实现扩缩容。

准备工作

• 已参见部署AHPA部署AHPA组件并配置Prometheus数据源。

• 已启用阿里云Prometheus监控

步骤一：部署应用及ServiceMonitor

首先，需要一个能够暴露自定义指标的示例应用，并配置参数，让Prometheus能够发现其相关资源。

1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

3. 在无状态页面，单击使用YAML创建资源，按照页面指引完成如下YAML的部署：部署sample-app应用、为其提供集群内访问的Service以及用于指标采集的ServiceMonitor。

   • Deployment

     此容器在8080端口的/metrics路径下暴露自定义指标requests_per_second，用于标识每秒访问次数。

     展开查看YAML

     apiVersion: apps/v1
     kind: Deployment
     metadata:
       name: sample-app
       namespace: default
       labels:
         app: sample-app
     spec:
       replicas: 1
       selector:
         matchLabels:
           app: sample-app
       template:
         metadata:
           labels:
             app: sample-app
         spec:
           containers:
           - image: registry-cn-hangzhou.ack.aliyuncs.com/acs/ahpa-external-sample:v1
             name: metrics-provider
             ports:
             - name: http
               containerPort: 8080
             env:
             - name: NAMESPACE
               valueFrom:
                 fieldRef:
                   fieldPath: metadata.namespace
             - name: POD_NAME
               valueFrom:
                 fieldRef:
                   fieldPath: metadata.name

   • Service

     为Deployment创建一个集群内稳定的访问地址。

     展开查看YAML

     apiVersion: v1
     kind: Service
     metadata:
       name: sample-app
       namespace: default
       labels:
         app: sample-app
     spec:
       # 选中此前部署的带有app: sample-app标签的Pod
       selector:
         app: sample-app
       ports:
       - name: http
         port: 8080
         targetPort: 8080
       type: ClusterIP

   • ServiceMonitor

     创建后可启动指标采集流程。ServiceMonitor目前已默认启用，如需检查启用状态，请参见启用功能。

     展开查看YAML

     apiVersion: monitoring.coreos.com/v1
     kind: ServiceMonitor
     metadata:
       name: sample-app
       namespace: default
     spec:
       endpoints:
       - interval: 30s
         port: http
         path: /metrics
       namespaceSelector:
         any: true
       selector:
         matchLabels:
           # 通过此标签关联此前创建的Service
           app: sample-app

步骤二：部署Metrics Adapter

Metrics Adapter是连接AHPA与Prometheus的桥梁。部署组件后，还需配置将其连接到ARMS Prometheus实例。

步骤三：为Metrics Adapter配置自定义指标

步骤四：创建AHPA规则并验证弹性效果

接下来，创建AHPA规则来自动化伸缩过程，并进行压测验证。

1. 创建AHPA资源。

   使用以下YAML创建一个AHPA资源：当sample-app服务关联的requests_per_second指标的平均值（AverageValue）超过10时，触发扩容；低于该值则缩容。

   • 设置external.metric， 指定指标名称以及matchLabels。指标名称与配置自定义指标中的指标名称保持一致。这里指定自定义指标为requests_per_second。

   • 设置目标阈值，这里指定AverageValue为10， 表示每秒请求数超过10就开始扩容。

   展开查看YAML详细信息

   apiVersion: autoscaling.alibabacloud.com/v1beta1
   kind: AdvancedHorizontalPodAutoscaler
   metadata:
     name: customer-deployment
     namespace: default
   spec:
     metrics:
     - external:
         metric:
           # 与Metrics Adapter规则中name.as的值保持一致
           name: requests_per_second
           selector:
             matchLabels:
               # 通过标签筛选指标来源
               namespace: default
               service: sample-app
         target:
           # 表示目标值是每个Pod的平均值
           type: AverageValue
           # 表示当每个Pod的平均QPS超过10时，开始扩容
           averageValue: 10
       type: External
     # 最小和最大副本数限制
     minReplicas: 0
     maxReplicas: 50
     prediction:
       quantile: 95
       scaleUpForward: 180
     scaleStrategy: observer
     # 声明AHPA待伸缩的目标工作负载
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: sample-app
     instanceBounds:
     - startTime: "2023-08-01 00:00:00"
       endTime: "2033-08-01 00:00:00"
       bounds:
       - cron: "* 0-8 ? * MON-FRI"
         maxReplicas: 50
         minReplicas: 4
       - cron: "* 9-15 ? * MON-FRI"
         maxReplicas: 50
         minReplicas: 5
       - cron: "* 16-23 ? * MON-FRI"
         maxReplicas: 50
         minReplicas: 1

2. 压测后，查看AHPA的状态。

   kubectl get ahpa

   预期输出：

   NAME                  STRATEGY   PERIODICITY   REFERENCE               METRIC                TARGETS   DESIREDPODS   REPLICAS   MINPODS   MAXPODS   AGE
   customer-deployment   observer                 Deployment/sample-app   requests_per_second   16/10     2             1          1         50        102s

   • TARGETS：显示当前指标值16，目标值为10。

   • DESIREDPODS：AHPA根据当前值(16) / 目标值(10) = 2，计算出期望的副本数为2。

   • REPLICAS：显示 sample-app 的实际副本数。

     由于当前 AHPA 的 STRATEGY 为 observer，只进行计算和观察，不执行扩缩容操作。因此，尽管DESIREDPODS为 2，但REPLICAS 仍然为 1。

   也可以通过kubectl get deployment sample-app命令来确认Pod副本数的实时变化。

生产环境使用建议