全部產品
Search

搜尋本產品

    ：部署高負載情境的Nginx Ingress Controller

    文件中心

    ：部署高負載情境的Nginx Ingress Controller

    更新時間：Jul 19, 2024

    在Kubernetes叢集中，Ingress對叢集服務（Service）中外部可訪問的API對象進行管理，提供七層負載平衡能力。Nginx Ingress Controller負責實現Ingress的功能，根據規則配置負載平衡並提供訪問入口。在高負載情境下，CPU資源和網路連接數的不足會影響應用的效能。本文介紹如何通過部署Nginx Ingress Controller來支撐高負載應用。

    前提條件

    部署說明

    部署高負載情境下的Nginx Ingress Controller需要考慮以下三個方面。

    硬體選型

    在高並發情境下，Ingress對CPU資源和網路連接數佔用都非常高，建議您選擇增強型ECS執行個體，例如：

    • 計算型執行個體：ecs.c6e.8xlarge（32 Core 64 GB，600萬PPS）

    • 網路型執行個體：ecs.g6e.8xlarge（32 Core 128 GB，600萬PPS）

    關於ECS執行個體規格的更多資訊，請參見執行個體規格類型系列。

    K8s配置

    • 設定Ingress Pod獨佔節點資源，添加汙點和節點標籤： 

      kubectl label nodes $node_name ingress-pod="yes"
kubectl taint nodes $node_name ingress-pod="yes":NoExecute

    • 設定CPU Policy為static。

    • 推薦調整ingress-controller service對應的SLB規格為超強型（slb.s3.large）。

    • 推薦叢集使用Terway網路外掛程式及配置獨佔ENI。

    Ingress配置

    • 設定Ingress Pod為Guaranteed類型。

      • 設定nginx-ingress-controller container的資源限制requests和limits：30Core 40GiB。

      • 設定initContainer init-sysctl的資源限制requests和limits：100m 70MiB。

    • 調整Deployment Replicas數為新增節點數。

    • 設定ConfigMap的worker-processes數為28（預留部分給系統使用）。

    • 調整ConfigMap的keepalive連結最大請求數。

    • 關閉日誌訪問記錄。

    步驟一：添加節點

    選擇指定叢集，建立新的節點池並添加2台節點。

    建立節點池需要配置的主要參數如下所示。具體操作，請參見建立節點池。

    • 選擇作業系統為Alibaba Cloud Linux3。

    • 配置節點標籤和汙點（Taints）。

      • 設定汙點（Taints）為ingress-pod，值為yes，Effect為NoExecute。

      • 設定節點標籤為ingress-pod值為yes。

    • 選擇CPU Policy為Static。

    步驟二：配置Nginx Ingress Controller

    執行kubectl edit deploy nginx-ingress-controller -n kube-system命令開啟Ingress Controller的設定檔，根據以下內容更新Ingress Controller的配置：

    1. 刪除Pod反親和性配置。 

      podAntiAffinity:
  requiredDuringSchedulingIgnoredDuringExecution:
  - labelSelector:
      matchExpressions:
      - key: app
      operator: In
      values:
      - ingress-nginx
   topologyKey: kubernetes.io/hostname

    2. 配置InitContainer的requests和limits。 

      resources:
  limits:
    cpu: 100m
    memory: 70Mi
  requests:
    cpu: 100m
    memory: 70Mi

    3. 修改nginx-ingress-controller container的requests和limits都為30Core 40GiB。 

      resources:
  limits:
    cpu: "30"
    memory: 40Gi
  requests:
    cpu: "30"
    memory: 40Gi

    4. 設定節點親和性和容忍性。 

      nodeSelector:
  ingress-pod: "yes"
tolerations:
- effect: NoExecute
  key: ingress-pod
  operator: Equal
  value: "yes"

    5. 調整Replicas數為新增節點數。

    6. 關閉Metrics採集，修改啟動參數，添加--enable-metrics=false。

      說明

      如果不需要擷取Metrics資訊，建議關閉Metrics採集。對於v1.9.3以上版本的Nginx Ingress Controller，您還可以通過配置啟動參數 --exclude-socket-metrics來排除相關的指標， 例如nginx_ingress_controller_ingress_upstream_latency_seconds。這樣做可以協助減輕對系統效能的影響。

      containers:
- args:
  - /nginx-ingress-controller
  - --configmap=$(POD_NAMESPACE)/nginx-configuration
  - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
  - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
  - --annotations-prefix=nginx.ingress.kubernetes.io
  - --publish-service=$(POD_NAMESPACE)/nginx-ingress-lb
  - --enable-metrics=false
  - --v=1

    步驟三：配置Nginx Ingress ConfigMap

    1. 使用kubectl edit cm -n kube-system nginx-configuration更新ConfigMap，可參考以下程式碼範例：

      apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-configuration
  namespace: kube-system
data:
  allow-backend-server-header: "true"
  enable-underscores-in-headers: "true"
  generate-request-id: "true"
  ignore-invalid-headers: "true"
  log-format-upstream: $remote_addr - [$remote_addr] - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_length $request_time [$proxy_upstream_name] $upstream_addr $upstream_response_length $upstream_response_time $upstream_status $req_id $host [$proxy_alternative_upstream_name]
  max-worker-connections: "65536"
  proxy-body-size: 20m
  proxy-connect-timeout: "3"
  proxy-read-timeout: "5"
  proxy-send-timeout: "5"
  reuse-port: "true"
  server-tokens: "false"
  ssl-redirect: "false"
  upstream-keepalive-timeout: "900"
  worker-processes: "28" # 設定啟動的Nginx進程數，請根據您的node節點規格進行實際調整，建議調整為cpu核心數-2。
  worker-cpu-affinity: auto
  upstream-keepalive-connections: "300"
  upstream-keepalive-requests: "1000" # 設定單個長串連最多可以發送多個。
  keep-alive: "900"
  keep-alive-requests: "10000"

    2. 採用檔案方式記錄訪問日誌並對日誌輪轉。

      預設的日誌訪問記錄輸出到/dev/stdout，在高並發情境下，會佔用大量CPU，故採用檔案方式記錄訪問日誌並對日誌設定輪轉。

      1. 以SSH方式登入部署ingress-controller Pod的ECS節點上。具體操作，請參見通過密鑰認證登入Linux執行個體。

      2. 在/etc/crontab檔案結尾添加以下內容：

        */15 * * * *  root /root/nginx-log-rotate.sh
        說明

        此處以每隔15分鐘對日誌輪轉一次為例，可根據實際需求進行調整。

      3. 在/root目錄下添加檔案nginx-log-rotate.sh。

        Docker叢集

        #!/bin/bash
# 最多保留記錄檔個數，可根據需求進行調整。
keep_log_num=5
ingress_nginx_container_ids=$(docker ps | grep nginx-ingress-controller | grep -v pause | awk '{print $1}')
if [[ -z "$ingress_nginx_container_ids" ]]; then
 echo "error: failed to get ingress nginx container ids"
 exit 1
fi
# 隨機睡眠5~10秒。
sleep $(( RANDOM % (10 - 5 + 1 ) + 5 ))
for id in $ingress_nginx_container_ids; do
 docker exec $id bash -c "cd /var/log/nginx; if [[ \$(ls access.log-* | wc -l) -gt $keep_log_num ]]; then rm -f \$(ls -t access.log-* | tail -1); fi ; mv access.log access.log-\$(date +%F:%T) ; kill -USR1 \$(cat /tmp/nginx/nginx.pid)"
done

        containerd叢集

        #!/bin/bash
# 最多保留記錄檔個數，可根據需求進行調整。
keep_log_num=5
ingress_nginx_container_ids=$(crictl ps | grep nginx-ingress-controller | grep -v pause | awk '{print $1}')
if [[ -z "$ingress_nginx_container_ids" ]]; then
 echo "error: failed to get ingress nginx container ids"
 exit 1
fi
# 隨機睡眠5~10秒。
sleep $(( RANDOM % (10 - 5 + 1 ) + 5 ))
for id in $ingress_nginx_container_ids; do
 crictl exec $id bash -c "cd /var/log/nginx; if [[ \$(ls access.log-* | wc -l) -gt $keep_log_num ]]; then rm -f \$(ls -t access.log-* | tail -1); fi ; mv access.log access.log-\$(date +%F:%T) ; kill -USR1 \$(cat /tmp/nginx/nginx.pid)"
done

      4. 執行以下命令，對nginx-log-rotate.sh檔案添加可執行許可權。

        chmod 755 /root/nginx-log-rotate.sh