容器服务 Kubernetes 版 ACK：基于阿里云组件指标的容器水平伸缩

本文以创建名为Nginx的Deployment和Service为例配置HPA自动伸缩。

1. 登录容器服务管理控制台，在左侧导航栏单击集群。

2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。

3. 在无状态页面中，单击使用YAML创建资源。

4. 设置示例模板为自定义，并使用以下YAML文件创建一个应用，并暴露一个ClusterIP的Service，然后单击创建。

   apiVersion: apps/v1 
   kind: Deployment
   metadata:
     name: nginx-deployment-basic
     labels:
       app: nginx
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         containers:
         - name: nginx
           image: nginx:1.7.9 
           ports:
           - containerPort: 80
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: nginx
     namespace: default
   spec:
     ports:
       - port: 80
         protocol: TCP
         targetPort: 80
     selector:
       app: nginx
     type: ClusterIP

5. 在集群管理页左侧导航栏中，选择网络 > 路由，并在路由页面右上方，单击创建Ingress。

6. 在创建面板中填写相关信息，然后单击确定。完成创建后，系统会自动跳转至路由页面。

7. 在名称下，单击生成的Ingress名称，查看路由规则信息。

8. 配置HPA。

   1. 单击左上角的符号，返回集群列表页面。

   2. 在控制台左侧导航栏，选择市场 > 编排模板。

   3. 在模板列表页面右上角单击创建。

   4. 在创建对话框中，配置编排模板，最后单击保存。

      • 名称：设置该模板的名称，本文配置为HPA。

      • 描述：输入对该模板的描述，可不配置。

      • 模板：配置符合Kubernetes YAML语法规则的编排模板，参考以下文件。

      apiVersion: autoscaling/v2
      kind: HorizontalPodAutoscaler
      metadata:
        name: ingress-hpa
      spec:
        scaleTargetRef:
          apiVersion: apps/v1
          kind: Deployment
          name: nginx-deployment-basic
        minReplicas: 2
        maxReplicas: 10
        metrics:
          - type: External
            external:
              metric:
                name: sls_ingress_qps
                selector:
                  matchLabels:
                    sls.project: "***" # 替换sls.project的值为真实值。
                    sls.logstore: "nginx-ingress"
                    sls.ingress.route: "default-nginx-80"
              target:
                type: AverageValue
                averageValue: 10
          - type: External
            external:
              metric:
                name: sls_ingress_latency_p9999
                selector:
                  matchLabels:
                    # default ingress log project is k8s-log-clusterId
                    sls.project: "***" 
                    # default ingress logstre is nginx-ingress
                    sls.logstore: "nginx-ingress"
                    # namespace-svc-port
                    sls.ingress.route: "default-nginx-80"
                    # sls vpc endpoint, default true
                    # sls.internal.endpoint:true
              target:
                type: Value
                # sls_ingress_latency_p9999 > 10ms
                value: 10

      HPA的配置涉及的参数如下：

      参数名	描述
      sls.ingress.route	必填，参数的格式为：<namespace>-<svc>-<port>，例如default-nginx-80。 说明 <namespace>为Ingress所在的命名空间，<svc>是Ingress对应的Service名称，<port>是Ingress对应Service的Port名称。
      sls.logstore	日志服务的日志库名称，必填。集群中默认sls.logstore值为nginx-ingress。
      sls.project	日志服务的Project名称，必填。集群中默认sls.project值为k8s-log-集群ID.
      sls.internal.endpoint	设置通过内网还是外网访问日志服务，默认为true。选择true说明通过内网访问日志服务；选择false说明通过外网访问日志服务。

      说明

      sls_ingress_qps与sls_ingress_latency_p9999是本文实现伸缩使用的两个指标。在target的type中。

      • 为sls_ingress_qps设置的是AverageValue，表示QPS要除以Pod的数目进行判断。

      • 为sls_ingress_latency_p9999设置的是Value，表示无需除以Pod的数目。

      以上两种不同的type在HPA的设置中会经常用到。

   5. 在模板列表页面，选择HPA并单击创建应用。

   6. 在模板列表 - HPA页面右侧，单击创建。

9. 设置好HPA后，执行以下脚本进行压测。

   #!/bin/bash
   ##使用Apache Benchmark对Ingress暴露的服务设置并发为10，时间为300秒的压测。
   ab -t 300 -c 10 <ingress配置的域名>

10. 验证指标伸缩状态。

    1. 在控制台左侧导航栏单击集群，并在集群列表页面，选择目标集群操作列的更多 > 通过CloudShell管理集群。

    2. 执行以下命令检查伸缩状态。

       kubectl get hpa ingress-hpa

       预期输出：

       NAME            REFERENCE                              TARGETS           MINPODS    MAXPODS    REPLICAPS   AGE
       ingress-hpa     Depolyment/nginx-deployment-basic      21/10 (avg)       2          10         10          7m49s

       当REPLICAS的值和MAXPODS的值相同时，说明伸缩成功。

可以通过以下命令行查询数据。以请求指标sls_ingress_qps为例。

kubectl get --raw  /apis/external.metrics.k8s.io/v1beta1/namespaces/*/sls_ingress_qps?labelSelector=sls.project={{SLS_Project}},sls.logstore=nginx-ingress

其中 {{SLS_Project}}是此ACK集群对应的SLS日志中心的Project名。若未自定义配置，默认为k8s-log-{{ClusterId}}，{{ClusterId}}为此集群的ClusterId。

若返回结果为：

Error from server: {
    "httpCode": 400,
    "errorCode": "ParameterInvalid",
    "errorMessage": "key (slb_pool_name) is not config as key value config,if symbol : is  in your log,please wrap : with quotation mark \"",
    "requestID": "xxxxxxx"
}

表明此指标无数据。原因可能是未配置使用ALB Ingress，但使用了sls_alb_ingress_qps指标进行数据查询。