Container Service for Kubernetes：基於阿里雲組件指標的容器水平伸縮

本文將通過以下步驟，以建立名為Nginx的Deployment、Service和Ingress為例，配置HPA自動調整，實現基於Log Service（SLS）中Ingress的QPS指標對容器進行水平伸縮。

步驟一：部署ack-alibaba-cloud-metrics-adapter組件

ack-alibaba-cloud-metrics-adapter組件允許 Kubernetes 通過 External Metrics API 擷取阿里雲產品（如 ECS、SLB、RDS 等）的監控資料，可以增強叢集的監控和自動調整能力。

1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇應用 > Helm。

3. 在Helm頁面，單擊建立，完成基本資料配置，然後選中ack-alibaba-cloud-metrics-adapter，單擊下一步。

4. 在參數配置頁面，選擇Chart 版本，然後單擊確定。

步驟二：建立應用與服務

1. 建立nginx-test.yaml檔案。

   展開查看YAML樣本

   apiVersion: apps/v1 
   kind: Deployment
   metadata:
     name: nginx-deployment-basic
     labels:
       app: nginx
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
       spec:
         containers:
         - name: nginx
           image: nginx:1.7.9 
           ports:
           - containerPort: 80
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: nginx
     namespace: default
   spec:
     ports:
       - port: 80
         protocol: TCP
         targetPort: 80
     selector:
       app: nginx
     type: ClusterIP

2. 執行以下命令，建立應用Deployment和對應的Service。

   kubectl apply -f nginx-test.yaml

步驟三：建立路由

1. 在叢集管理頁左側導覽列中，選擇網路 > 路由，並在路由頁面左上方，單擊建立Ingress。

2. 在建立面板中填寫相關資訊，然後單擊確定。完成建立後，系統會自動跳轉至路由頁面。

3. 在操作列名稱下，單擊產生的Ingress名稱，查看路由規則資訊。關於Ingress更多詳情，請參見Ingress管理

步驟四：配置HPA

您可以在HPA中配置SLS Project中伸縮使用的兩個指標，例如sls_ingress_qps與sls_ingress_latency_p9999。

• sls_ingress_qps：為AverageValue，表示QPS要除以Pod的數目進行判斷。

• sls_ingress_latency_p9999：為Value，表示無需除以Pod的數目。

1. 建立並複製以下內容到ingress-hpa.yaml中。

   展開查看YAML樣本

   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
     name: ingress-hpa
   spec:
     scaleTargetRef:
       apiVersion: apps/v1
       kind: Deployment
       name: nginx-deployment-basic
     minReplicas: 2
     maxReplicas: 10
     metrics:
       - type: External
         external:
           metric:
             name: sls_ingress_qps
             selector:
               matchLabels:
                 sls.project: "***" # 替換sls.project的值為真實值。
                 sls.logstore: "nginx-ingress"
                 sls.ingress.route: "default-nginx-80"
           target:
             type: AverageValue
             averageValue: 10
       - type: External
         external:
           metric:
             name: sls_ingress_latency_p9999
             selector:
               matchLabels:
                 # default ingress log project is k8s-log-clusterId
                 sls.project: "***" 
                 # default ingress logstre is nginx-ingress
                 sls.logstore: "nginx-ingress"
                 # namespace-svc-port
                 sls.ingress.route: "default-nginx-80"
                 # sls vpc endpoint, default true
                 # sls.internal.endpoint:true
           target:
             type: Value
             # sls_ingress_latency_p9999>10ms 即值超過10ms時，HPA會自動增加nginx-deployment-basic的Pod數量。
             value: 10

   HPA的配置涉及的參數如下。

   參數名	是否必填	描述
   sls.ingress.route	是	參數的格式為：<namespace>-<svc>-<port>，其中<namespace>為Ingress所在的命名空間，<svc>是Ingress對應的Service名稱，<port>是Ingress對應Service的Port名稱。例如，default-nginx-80。
   sls.logstore	是	Log Service的日誌庫名稱。叢集中預設sls.logstore值為nginx-ingress。
   sls.project	是	Log Service的Project名稱。叢集中預設sls.project值為k8s-log-叢集ID.
   sls.internal.endpoint	否	設定通過內網還是外網訪問Log Service，預設為true。 true：通過內網訪問SLS。 false：通過外網訪問SLS。

2. 執行以下命令，建立HPA。

   kubectl apply -f ingress-hpa.yaml

步驟五：結果驗證

1. 配置好HPA後，執行以下命令進行壓測。

   ab -t 300 -c 10 <ingress配置的網域名稱> # 使用Apache Benchmark對Ingress暴露的服務設定並發為10，時間為300秒的壓測。

2. 驗證指標伸縮狀態。

   執行以下命令檢查伸縮狀態。

   kubectl get hpa ingress-hpa

   預期輸出：

   NAME            REFERENCE                              TARGETS           MINPODS    MAXPODS    REPLICAPS   AGE
   ingress-hpa     Depolyment/nginx-deployment-basic      21/10 (avg)       2          10         10          7m49s

   當REPLICAS的值和MAXPODS的值相同時，說明伸縮成功。

常見問題

kubectl get --raw  /apis/external.metrics.k8s.io/v1beta1/namespaces/*/sls_ingress_qps?labelSelector=sls.project={{SLS_Project}},sls.logstore=nginx-ingress

Error from server: {
    "httpCode": 400,
    "errorCode": "ParameterInvalid",
    "errorMessage": "key (slb_pool_name) is not config as key value config,if symbol : is  in your log,please wrap : with quotation mark \"",
    "requestID": "xxxxxxx"
}

{
  "kind": "ExternalMetricValueList",
  "apiVersion": "external.metrics.k8s.io/v1beta1",
  "metadata": {},
  "items": [
    {
      "metricName": "sls_ingress_qps",
      "timestamp": "2025-02-26T16:45:00Z", 
      "value": "50",   # QPS的值
      "metricLabels": {
        "sls.project": "your-sls-project-name",
        "sls.logstore": "nginx-ingress"
      }
    }
  ]
}

相關文檔

• 基於阿里雲Prometheus指標的容器水平伸縮

• 基於Nginx Ingress流量指標的多應用水平伸縮