Container Service for Kubernetes：基於ACK One MSE多叢集網關實現同城容災

通過ArgoCD UI部署

1. 登入ACK One控制台，在左側導覽列選擇艦隊 > 多叢集應用。

2. 在GitOps頁面，單擊GitOps控制台跳轉至GitOps頁面。

   說明

   • 若ACK One艦隊的Fleet執行個體未開啟GitOps，請先單擊開啟GitOps，才能登入GitOps控制台。

   • 如需通過公網訪問GitOps，請開通公網訪問GitOps。

3. 添加應用倉庫。

   1. 在ArgoCD UI左側導覽列選擇Settings，然後選擇Repositories > + Connect Repo 。

   2. 在彈出的面板中配置以下資訊，然後單擊CONNECT添加串連。

      地區	參數	參數值
      Choose your connection method		VIA HTTPS
      CONNECT REPO USING HTTPS	Type	git
      	Project	default
      	Repository URL	https://github.com/AliyunContainerService/gitops-demo.git
      	Skip server verification	勾選

      

      串連添加成功後會顯示Git的CONNECTION STATUS為Successful。

      

4. 建立應用。

   在ArgoCD的Applications頁面中，單擊+ NEW APP，進行如下參數配置。

   地區	參數	說明
   GENERAL	Application Name	自訂應用程式名稱。
   	Project Name	default
   	SYNC POLICY	可根據實際情況選擇同步策略。取值： Manual：當Git端有變更時，需手動執行同步動作將其部署至目的地組群。 Automatic：ArgoCD Server每隔3分鐘自動檢測Git端的變更並將其自動部署至目的地組群。
   	SYNC OPTIONS	勾選AUTO-CREATE NAMESPACE。
   SOURCE	Repository URL	在下拉式清單選擇已有Git Repo，此處選擇上一步已添加的https://github.com/AliyunContainerService/gitops-demo.git。
   	Revision	選擇Branches：gateway-demo。
   	Path	manifests/helm/web-demo
   DESTINATION	Cluster URL	選擇叢集1或叢集2的URL。 也可以單擊右側的URL，切換為根據CLUSTER NAME欄位選擇。
   	Namespace	本樣本使用gateway-demo。表示應用資源（Service、Deployment）將被建立在此Namespace下。
   Helm	Parameters	envCluster值設定為cluster-demo-1或cluster-demo-2，用於區分請求由哪個叢集的後端處理。

通過ArgoCD CLI部署

1. 在ACK One Fleet執行個體中開啟GitOps。具體操作，請參見在ACK One Fleet執行個體中開啟GitOps。

2. 訪問ArgoCD。具體操作，請參見通過ArgoCD CLI方式訪問ArgoCD。

3. 建立並發布應用。

   1. 執行以下命令，添加Git Repo。

      argocd repo add https://github.com/AliyunContainerService/gitops-demo.git --name ackone-gitops-demos

      預期輸出：

      Repository 'https://github.com/AliyunContainerService/gitops-demo.git' added

   2. 執行以下命令，查看已添加的Git Repo列表。

      argocd repo list

      預期輸出：

      TYPE  NAME  REPO                                                       INSECURE  OCI    LFS    CREDS  STATUS      MESSAGE  PROJECT
      git         https://github.com/AliyunContainerService/gitops-demo.git  false     false  false  false  Successful           default

   3. 執行以下命令，查看Clusters列表。

      argocd cluster list

      預期輸出：

      SERVER                          NAME                                        VERSION  STATUS      MESSAGE                                                  PROJECT
      https://1.1.XX.XX:6443      c83f3cbc90a****-temp01   1.22+    Successful
      https://2.2.XX.XX:6443      c83f3cbc90a****-temp02   1.22+    Successful
      https://kubernetes.default.svc  in-cluster                                           Unknown     Cluster has no applications and is not being monitored.

   4. 使用Application方式建立並發布Demo應用到目的地組群。

      1. 使用以下內容，建立apps-web-demo.yaml檔案。

         其中repoURL需替換為您實際的倉庫地址。

         展開查看apps-web-demo.yaml檔案

         apiVersion: argoproj.io/v1alpha1
         kind: Application
         metadata:
           name: app-demo-cluster1
           namespace: argocd
         spec:
           destination:
             namespace: gateway-demo
             # https://1.1.XX.XX:6443
             server: ${cluster1_url}
           project: default
           source:
             helm:
               releaseName: "web-demo"
               parameters:
               - name: envCluster
                 value: cluster-demo-1
               valueFiles:
               - values.yaml
             path: manifests/helm/web-demo
             repoURL: https://github.com/AliyunContainerService/gitops-demo.git
             targetRevision: gateway-demo
           syncPolicy:
             syncOptions:
             - CreateNamespace=true
         ---
         apiVersion: argoproj.io/v1alpha1
         kind: Application
         metadata:
           name: app-demo-cluster1
           namespace: argocd
         spec:
           destination:
             namespace: gateway-demo
             server: ${cluster2_url}
           project: default
           source:
             helm:
               releaseName: "web-demo"
               parameters:
               - name: envCluster
                 value: cluster-demo-2
               valueFiles:
               - values.yaml
             path: manifests/helm/web-demo
             repoURL: https://github.com/AliyunContainerService/gitops-demo.git
             targetRevision: gateway-demo
           syncPolicy:
             syncOptions:
             - CreateNamespace=true

      2. 執行以下命令，部署應用。

         kubectl apply -f apps-web-demo.yaml

      3. 執行以下命令，查看應用列表。

         argocd app list

         預期輸出：

         # app list
         NAME                      CLUSTER                  NAMESPACE  PROJECT  STATUS  HEALTH   SYNCPOLICY  CONDITIONS  REPO                                                       PATH                     TARGET
         argocd/web-demo-cluster1  https://10.1.XX.XX:6443             default  Synced  Healthy  Auto        <none>      https://github.com/AliyunContainerService/gitops-demo.git  manifests/helm/web-demo  main
         argocd/web-demo-cluster2  https://10.1.XX.XX:6443             default  Synced  Healthy  Auto        <none>      https://github.com/AliyunContainerService/gitops-demo.git  manifests/helm/web-demo  main

同城多活容災

建立Ingress實現同城多活容災

在ACK One Fleet執行個體中建立以下Ingress對象，可以實現同城多活容災。

預設將流量負載平衡到已添加到多叢集網關的兩個叢集的同名服務後端的每個副本中，如果其中的Cluster 1後端異常，網關自動將流量全都路由到Cluster 2。Cluster 1和Cluster 2的副本數比為9:1，所以預設90%流量被路由到Cluster 1， 10%流量被路由到Cluster 2，在Cluster 1後端全部異常後，100%流量自動被路由到Cluster 2。拓撲如下所示：

1. 使用以下內容，建立ingress-demo.yaml檔案。

   以下代碼中，通過網域名稱example.com下的/svc1路由規則暴露後端服務service1。

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: web-demo
   spec:
     ingressClassName: mse
     rules:
     - host: example.com
       http:
         paths:
         - path: /svc1
           pathType: Exact
           backend:
             service:
               name: service1
               port: 
                 number: 80

2. 執行以下命令，在ACK One Fleet執行個體中部署Ingress。

   kubectl apply -f ingress-demo.yaml -n gateway-demo

實現灰階發布驗證

在多活容災情境下，不影響業務的前提下，您可以通過以下方式對應用進行灰階發布驗證。

在已有叢集中建立應用，僅將Service和Deployment的name和selector與原應用進行區分，之後基於Header在建立的應用上進行驗證。

1. 使用以下內容，在Cluster 1中建立new-app.yaml檔案。僅Service和Deployment與原應用有差異，其他均一致。

   apiVersion: v1       
   kind: Service
   metadata:
     name: service1-canary-1
     namespace: gateway-demo
   spec:
     ports:
     - port: 80
       protocol: TCP
       targetPort: 8080
     selector:
       app: web-demo-canary-1
     sessionAffinity: None
     type: ClusterIP
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: web-demo-canary-1
     namespace: gateway-demo
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: web-demo-canary-1
     template:
       metadata:
         labels:
           app: web-demo-canary-1
       spec:
         containers:
           - env:
               - name: ENV_NAME
                 value: cluster-demo-1-canary
             image: 'registry-cn-hangzhou.ack.aliyuncs.com/acs/web-demo:0.6.0'
             imagePullPolicy: Always
             name: web-demo

2. 執行以下命令，在Cluster 1中部署新的應用。

   kubectl apply -f new-app.yaml

3. 使用以下內容，建立new-ingress.yaml檔案。

   在Fleet執行個體中建立基於Header的Ingress。通過添加Annotations開啟Canary，並指定Header，在請求中使用Header: canary-dest: cluster1來將流量路由到灰階版本進行驗證。

   • nginx.ingress.kubernetes.io/canary：設定為"true"，表示開啟灰階發布能力。

   • nginx.ingress.kubernetes.io/canary-by-header：請求到該叢集的header key。

   • nginx.ingress.kubernetes.io/canary-by-header-value：請求到該叢集的header value。

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       name: web-demo-canary-1
       namespace: gateway-demo
       annotations:
         nginx.ingress.kubernetes.io/canary: "true"
         nginx.ingress.kubernetes.io/canary-by-header: "canary-dest"
         nginx.ingress.kubernetes.io/canary-by-header-value: "cluster1"
     spec:
       ingressClassName: mse
       rules:
       - host: example.com
         http:
           paths:
           - path: /svc1
             pathType: Exact
             backend:
               service:
                 name: service1-canary-1
                 port: 
                   number: 80

4. 執行以下命令，在Fleet執行個體中部署基於Header的Ingress。

   kubectl apply -f new-ingress.yaml

驗證同城多活容災實現效果

修改部署到Cluster 1的副本數為9，Cluster 2的副本數為1，即期望預設流量按照9:1路由到Cluster 1和Cluster 2，並且在Cluster1異常後，自動將所有流量路由到Cluster 2。

執行以下命令，擷取多叢集網關的對外IP。

kubectl get ingress web-demo -n gateway-demo -ojsonpath="{.status.loadBalancer}"

• 預設流量按比例路由到兩個叢集

  執行以下命令，查看流量的路由情況。

  替換以下XX.XX.XX.XX為上一步擷取的多叢集網關的對外IP。

  for i in {1..100}; do curl -H "host: example.com" XX.XX.XX.XX done

  預期輸出：預期輸出表明，流量被負載平衡到了Cluster 1和Cluster 2，到Cluster 1和Cluster 2的流量比為9:1。

• Cluster 1異常後流量全部容災到Cluster 2

  如果將Cluster 1的Deployment的replica縮為0時，得到的輸出結果如下，表明流量已被自動容災到Cluster 2。

• 通過Header將請求路由到灰階版本

  執行以下命令，查看流量的路由情況。

  替換以下XX.XX.XX.XX為實現灰階發布驗證中的應用和Ingress部署完成後查詢到的IP。

  for i in {1..100}; do curl -H "host: example.com" -H "canary-dest: cluster1" xx.xx.xx.xx/svc1; sleep 1;  done  

  預期輸出：預期輸出表明，添加了header：canary-dest: cluster1的請求都被路由到了Cluster 1中的灰階版本。

同城主備容災

在ACK One Fleet執行個體中建立以下Ingress對象，可以實現同城主備容災。

當兩個叢集後端都正常時，流量僅路由到Cluster 1的服務後端；如果其中一個Cluster 1後端異常，網關會自動將流量路由到Cluster 2。拓撲如下所示：

建立Ingress實現同城主備容災

1. 使用以下內容，建立ingress-demo-cluster-one.yaml檔案。

   以下Ingress對象的YAML檔案中，通過添加兩個Annotations mse.ingress.kubernetes.io/service-subset、mse.ingress.kubernetes.io/subset-labels以實現網域名稱example.com下的/service1路由規則暴露後端服務service1。關於MSE Ingress支援的Annotations詳情，請參見MSE Ingress支援的Annotation。

   • mse.ingress.kubernetes.io/service-subset：服務的子版本名稱。建議定義為與目的地組群相關且可讀性強的值。

   • mse.ingress.kubernetes.io/subset-labels：指定目的地組群的ID。

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       annotations:
         mse.ingress.kubernetes.io/service-subset: cluster-demo-1
         mse.ingress.kubernetes.io/subset-labels: |
           topology.istio.io/cluster ${cluster1-id}
       name: web-demo-cluster-one
     spec:
       ingressClassName: mse
       rules:
       - host: example.com
         http:
           paths:
           - path: /service1
             pathType: Exact
             backend:
               service:
                 name: service1
                 port: 
                   number: 80

2. 執行以下命令，在ACK One Fleet執行個體中部署Ingress。

   kubectl apply -f ingress-demo-cluster-one.yaml -ngateway-demo

實現叢集層級灰階發布

多叢集網關支援建立基於Header的Ingress以實現將請求路由到指定叢集，基於該能力與建立Ingress實現同城主備容災中Ingress對象實現的全副本負載平衡的能力，可以實現基於Header的灰階發布。

1. 已建立Ingress實現同城主備容災中的Ingress。

2. 在ACK One Fleet執行個體中建立包含Header相關Annotation的Ingress，實現叢集層級的灰階發布。請求的Header與Ingress中的配置相匹配時，請求將被路由到灰階版本的後端。

   1. 使用以下內容，建立ingress-demo-cluster-gray.yaml檔案。

      以下Ingress對象的YAML檔案中，替換YAML中的${cluster1-id}為目的地組群ID。除了mse.ingress.kubernetes.io/service-subset和mse.ingress.kubernetes.io/subset-labels兩個Annotation之外，您還需要添加以下Annotation以實現網域名稱example.com下的/service1路由規則暴露後端服務service1

      • nginx.ingress.kubernetes.io/canary：設定為"true"，表示開啟灰階發布能力。

      • nginx.ingress.kubernetes.io/canary-by-header：表示請求到該叢集的header key。

      • nginx.ingress.kubernetes.io/canary-by-header-value：表示請求到該叢集的header value。

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        annotations:
          mse.ingress.kubernetes.io/service-subset: cluster-demo-2
          mse.ingress.kubernetes.io/subset-labels: |
            topology.istio.io/cluster ${cluster2-id}
          nginx.ingress.kubernetes.io/canary: "true"
          nginx.ingress.kubernetes.io/canary-by-header: "app-web-demo-version"
          nginx.ingress.kubernetes.io/canary-by-header-value: "gray"
        name: web-demo-cluster-gray
        name: web-demo
      spec:
        ingressClassName: mse
        rules:
        - host: example.com
          http:
            paths:
            - path: /service1
              pathType: Exact
              backend:
                service:
                  name: service1
                  port: 
                    number: 80

   2. 執行以下命令，在ACK One Fleet執行個體中部署Ingress。

      kubectl apply -f ingress-demo-cluster-gray.yaml -n gateway-demo

驗證同城主備容災實現效果

為便於驗證，修改部署到Cluster 1和Cluster 2的副本數都為1，期望預設流量只被路由到Cluster 1，加灰階Header的流量被路由到Cluster 2，當Cluster 1應用異常後，預設流量也被路由到Cluster 2。

執行以下命令，擷取多叢集網關的對外IP。

kubectl get ingress web-demo -n gateway-demo -ojsonpath="{.status.loadBalancer}"

• 預設流量路由到Cluster 1

  執行以下命令，查看預設流量是否被路由到Cluster 1。

  替換以下XX.XX.XX.XX為上一步擷取的多叢集網關的對外IP。

  for i in {1..100}; do curl -H "host: example.com" xx.xx.xx.xx/service1; sleep 1;  done

  預期輸出：預期輸出表明，預設流量全都被路由到Cluster 1了。

• 通過header將請求路由到灰階版本

  執行以下命令，查看Header的請求是否被路由到灰階版本。

  替換以下XX.XX.XX.XX為上一步擷取的多叢集網關的對外IP。

  for i in {1..50}; do curl -H "host: example.com" -H "app-web-demo-version: gray" xx.xx.xx.xx/service1; sleep 1;  done

  預期輸出：預期輸出表明，添加了Header：app-web-demo-version: gray的請求都被路由到了Cluster 2（灰階版本）。

• Cluster 1異常後流量被容災到Cluster 2

  如果將Cluster 1的Deployment的replica縮為0時，得到的輸出結果如下，表明流量已被自動容災到Cluster 2。