容器服务 Kubernetes 版 ACK：基于ACK One MSE多集群网关实现同城容灾

通过ArgoCD UI部署

1. 登录ACK One控制台，在左侧导航栏选择舰队 > 多集群应用。

2. 在GitOps页面，单击GitOps控制台跳转至GitOps页面。

   说明

   • 若ACK One舰队的Fleet实例未开启GitOps，请先单击开启GitOps，才能登录GitOps控制台。

   • 如需通过公网访问GitOps，请开通公网访问GitOps。

3. 添加应用仓库。

   1. 在ArgoCD UI左侧导航栏选择Settings，然后选择Repositories > + Connect Repo 。

   2. 在弹出的面板中配置以下信息，然后单击CONNECT添加连接。

      区域	参数	参数值
      Choose your connection method		VIA HTTPS
      CONNECT REPO USING HTTPS	Type	git
      	Project	default
      	Repository URL	https://github.com/AliyunContainerService/gitops-demo.git
      	Skip server verification	勾选

      

      连接添加成功后会显示Git的CONNECTION STATUS为Successful。

      

4. 创建应用。

   在ArgoCD的Applications页面中，单击+ NEW APP，进行如下参数配置。

   区域	参数	说明
   GENERAL	Application Name	自定义应用名称。
   	Project Name	default
   	SYNC POLICY	可根据实际情况选择同步策略。取值： Manual：当Git端有变更时，需手动执行同步动作将其部署至目标集群。 Automatic：ArgoCD Server每隔3分钟自动检测Git端的变更并将其自动部署至目标集群。
   	SYNC OPTIONS	勾选AUTO-CREATE NAMESPACE。
   SOURCE	Repository URL	在下拉列表选择已有Git Repo，此处选择上一步已添加的https://github.com/AliyunContainerService/gitops-demo.git。
   	Revision	选择Branches：gateway-demo。
   	Path	manifests/helm/web-demo
   DESTINATION	Cluster URL	选择集群1或集群2的URL。 也可以单击右侧的URL，切换为根据CLUSTER NAME字段选择。
   	Namespace	本示例使用gateway-demo。表示应用资源（Service、Deployment）将被创建在此Namespace下。
   Helm	Parameters	envCluster值设置为cluster-demo-1或cluster-demo-2，用于区分请求由哪个集群的后端处理。

通过ArgoCD CLI部署

1. 在ACK One Fleet实例中开启GitOps。具体操作，请参见在ACK One Fleet实例中开启GitOps。

2. 访问ArgoCD。具体操作，请参见通过ArgoCD CLI方式访问ArgoCD。

3. 创建并发布应用。

   1. 执行以下命令，添加Git Repo。

      argocd repo add https://github.com/AliyunContainerService/gitops-demo.git --name ackone-gitops-demos

      预期输出：

      Repository 'https://github.com/AliyunContainerService/gitops-demo.git' added

   2. 执行以下命令，查看已添加的Git Repo列表。

      argocd repo list

      预期输出：

      TYPE  NAME  REPO                                                       INSECURE  OCI    LFS    CREDS  STATUS      MESSAGE  PROJECT
      git         https://github.com/AliyunContainerService/gitops-demo.git  false     false  false  false  Successful           default

   3. 执行以下命令，查看Clusters列表。

      argocd cluster list

      预期输出：

      SERVER                          NAME                                        VERSION  STATUS      MESSAGE                                                  PROJECT
      https://1.1.XX.XX:6443      c83f3cbc90a****-temp01   1.22+    Successful
      https://2.2.XX.XX:6443      c83f3cbc90a****-temp02   1.22+    Successful
      https://kubernetes.default.svc  in-cluster                                           Unknown     Cluster has no applications and is not being monitored.

   4. 使用Application方式创建并发布Demo应用到目标集群。

      1. 使用以下内容，创建apps-web-demo.yaml文件。

         其中repoURL需替换为您实际的仓库地址。

         展开查看apps-web-demo.yaml文件

         apiVersion: argoproj.io/v1alpha1
         kind: Application
         metadata:
           name: app-demo-cluster1
           namespace: argocd
         spec:
           destination:
             namespace: gateway-demo
             # https://1.1.XX.XX:6443
             server: ${cluster1_url}
           project: default
           source:
             helm:
               releaseName: "web-demo"
               parameters:
               - name: envCluster
                 value: cluster-demo-1
               valueFiles:
               - values.yaml
             path: manifests/helm/web-demo
             repoURL: https://github.com/AliyunContainerService/gitops-demo.git
             targetRevision: gateway-demo
           syncPolicy:
             syncOptions:
             - CreateNamespace=true
         ---
         apiVersion: argoproj.io/v1alpha1
         kind: Application
         metadata:
           name: app-demo-cluster1
           namespace: argocd
         spec:
           destination:
             namespace: gateway-demo
             server: ${cluster2_url}
           project: default
           source:
             helm:
               releaseName: "web-demo"
               parameters:
               - name: envCluster
                 value: cluster-demo-2
               valueFiles:
               - values.yaml
             path: manifests/helm/web-demo
             repoURL: https://github.com/AliyunContainerService/gitops-demo.git
             targetRevision: gateway-demo
           syncPolicy:
             syncOptions:
             - CreateNamespace=true

      2. 执行以下命令，部署应用。

         kubectl apply -f apps-web-demo.yaml

      3. 执行以下命令，查看应用列表。

         argocd app list

         预期输出：

         # app list
         NAME                      CLUSTER                  NAMESPACE  PROJECT  STATUS  HEALTH   SYNCPOLICY  CONDITIONS  REPO                                                       PATH                     TARGET
         argocd/web-demo-cluster1  https://10.1.XX.XX:6443             default  Synced  Healthy  Auto        <none>      https://github.com/AliyunContainerService/gitops-demo.git  manifests/helm/web-demo  main
         argocd/web-demo-cluster2  https://10.1.XX.XX:6443             default  Synced  Healthy  Auto        <none>      https://github.com/AliyunContainerService/gitops-demo.git  manifests/helm/web-demo  main

同城多活容灾

创建Ingress实现同城多活容灾

在ACK One Fleet实例中创建以下Ingress对象，可以实现同城多活容灾。

默认将流量负载均衡到已添加到多集群网关的两个集群的同名服务后端的每个副本中，如果其中的Cluster 1后端异常，网关自动将流量全都路由到Cluster 2。Cluster 1和Cluster 2的副本数比为9:1，所以默认90%流量被路由到Cluster 1， 10%流量被路由到Cluster 2，在Cluster 1后端全部异常后，100%流量自动被路由到Cluster 2。拓扑如下所示：

1. 使用以下内容，创建ingress-demo.yaml文件。

   以下代码中，通过域名example.com下的/svc1路由规则暴露后端服务service1。

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: web-demo
   spec:
     ingressClassName: mse
     rules:
     - host: example.com
       http:
         paths:
         - path: /svc1
           pathType: Exact
           backend:
             service:
               name: service1
               port: 
                 number: 80

2. 执行以下命令，在ACK One Fleet实例中部署Ingress。

   kubectl apply -f ingress-demo.yaml -n gateway-demo

实现灰度发布验证

在多活容灾场景下，不影响业务的前提下，您可以通过以下方式对应用进行灰度发布验证。

在已有集群中新建应用，仅将Service和Deployment的name和selector与原应用进行区分，之后基于Header在新建的应用上进行验证。

1. 使用以下内容，在Cluster 1中新建new-app.yaml文件。仅Service和Deployment与原应用有差异，其他均一致。

   apiVersion: v1       
   kind: Service
   metadata:
     name: service1-canary-1
     namespace: gateway-demo
   spec:
     ports:
     - port: 80
       protocol: TCP
       targetPort: 8080
     selector:
       app: web-demo-canary-1
     sessionAffinity: None
     type: ClusterIP
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: web-demo-canary-1
     namespace: gateway-demo
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: web-demo-canary-1
     template:
       metadata:
         labels:
           app: web-demo-canary-1
       spec:
         containers:
           - env:
               - name: ENV_NAME
                 value: cluster-demo-1-canary
             image: 'registry-cn-hangzhou.ack.aliyuncs.com/acs/web-demo:0.6.0'
             imagePullPolicy: Always
             name: web-demo

2. 执行以下命令，在Cluster 1中部署新的应用。

   kubectl apply -f new-app.yaml

3. 使用以下内容，创建new-ingress.yaml文件。

   在Fleet实例中创建基于Header的Ingress。通过添加Annotations开启Canary，并指定Header，在请求中使用Header: canary-dest: cluster1来将流量路由到灰度版本进行验证。

   • nginx.ingress.kubernetes.io/canary：设置为"true"，表示开启灰度发布能力。

   • nginx.ingress.kubernetes.io/canary-by-header：请求到该集群的header key。

   • nginx.ingress.kubernetes.io/canary-by-header-value：请求到该集群的header value。

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       name: web-demo-canary-1
       namespace: gateway-demo
       annotations:
         nginx.ingress.kubernetes.io/canary: "true"
         nginx.ingress.kubernetes.io/canary-by-header: "canary-dest"
         nginx.ingress.kubernetes.io/canary-by-header-value: "cluster1"
     spec:
       ingressClassName: mse
       rules:
       - host: example.com
         http:
           paths:
           - path: /svc1
             pathType: Exact
             backend:
               service:
                 name: service1-canary-1
                 port: 
                   number: 80

4. 执行以下命令，在Fleet实例中部署基于Header的Ingress。

   kubectl apply -f new-ingress.yaml

验证同城多活容灾实现效果

修改部署到Cluster 1的副本数为9，Cluster 2的副本数为1，即期望默认流量按照9:1路由到Cluster 1和Cluster 2，并且在Cluster1异常后，自动将所有流量路由到Cluster 2。

执行以下命令，获取多集群网关的对外IP。

kubectl get ingress web-demo -n gateway-demo -ojsonpath="{.status.loadBalancer}"

• 默认流量按比例路由到两个集群

  执行以下命令，查看流量的路由情况。

  替换以下XX.XX.XX.XX为上一步获取的多集群网关的对外IP。

  for i in {1..100}; do curl -H "host: example.com" XX.XX.XX.XX done

  预期输出：预期输出表明，流量被负载均衡到了Cluster 1和Cluster 2，到Cluster 1和Cluster 2的流量比为9:1。

• Cluster 1异常后流量全部容灾到Cluster 2

  如果将Cluster 1的Deployment的replica缩为0时，得到的输出结果如下，表明流量已被自动容灾到Cluster 2。

• 通过Header将请求路由到灰度版本

  执行以下命令，查看流量的路由情况。

  替换以下XX.XX.XX.XX为实现灰度发布验证中的应用和Ingress部署完成后查询到的IP。

  for i in {1..100}; do curl -H "host: example.com" -H "canary-dest: cluster1" xx.xx.xx.xx/svc1; sleep 1;  done  

  预期输出：预期输出表明，添加了header：canary-dest: cluster1的请求都被路由到了Cluster 1中的灰度版本。

同城主备容灾

在ACK One Fleet实例中创建以下Ingress对象，可以实现同城主备容灾。

当两个集群后端都正常时，流量仅路由到Cluster 1的服务后端；如果其中一个Cluster 1后端异常，网关会自动将流量路由到Cluster 2。拓扑如下所示：

创建Ingress实现同城主备容灾

1. 使用以下内容，创建ingress-demo-cluster-one.yaml文件。

   以下Ingress对象的YAML文件中，通过添加两个Annotations mse.ingress.kubernetes.io/service-subset、mse.ingress.kubernetes.io/subset-labels以实现域名example.com下的/service1路由规则暴露后端服务service1。关于MSE Ingress支持的Annotations详情，请参见MSE Ingress支持的Annotation。

   • mse.ingress.kubernetes.io/service-subset：服务的子版本名称。建议定义为与目标集群相关且可读性强的值。

   • mse.ingress.kubernetes.io/subset-labels：指定目标集群的ID。

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       annotations:
         mse.ingress.kubernetes.io/service-subset: cluster-demo-1
         mse.ingress.kubernetes.io/subset-labels: |
           topology.istio.io/cluster ${cluster1-id}
       name: web-demo-cluster-one
     spec:
       ingressClassName: mse
       rules:
       - host: example.com
         http:
           paths:
           - path: /service1
             pathType: Exact
             backend:
               service:
                 name: service1
                 port: 
                   number: 80

2. 执行以下命令，在ACK One Fleet实例中部署Ingress。

   kubectl apply -f ingress-demo-cluster-one.yaml -ngateway-demo

实现集群级别灰度发布

多集群网关支持创建基于Header的Ingress以实现将请求路由到指定集群，基于该能力与创建Ingress实现同城主备容灾中Ingress对象实现的全副本负载均衡的能力，可以实现基于Header的灰度发布。

1. 已创建Ingress实现同城主备容灾中的Ingress。

2. 在ACK One Fleet实例中创建包含Header相关Annotation的Ingress，实现集群级别的灰度发布。请求的Header与Ingress中的配置相匹配时，请求将被路由到灰度版本的后端。

   1. 使用以下内容，创建ingress-demo-cluster-gray.yaml文件。

      以下Ingress对象的YAML文件中，替换YAML中的${cluster1-id}为目标集群ID。除了mse.ingress.kubernetes.io/service-subset和mse.ingress.kubernetes.io/subset-labels两个Annotation之外，您还需要添加以下Annotation以实现域名example.com下的/service1路由规则暴露后端服务service1

      • nginx.ingress.kubernetes.io/canary：设置为"true"，表示开启灰度发布能力。

      • nginx.ingress.kubernetes.io/canary-by-header：表示请求到该集群的header key。

      • nginx.ingress.kubernetes.io/canary-by-header-value：表示请求到该集群的header value。

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        annotations:
          mse.ingress.kubernetes.io/service-subset: cluster-demo-2
          mse.ingress.kubernetes.io/subset-labels: |
            topology.istio.io/cluster ${cluster2-id}
          nginx.ingress.kubernetes.io/canary: "true"
          nginx.ingress.kubernetes.io/canary-by-header: "app-web-demo-version"
          nginx.ingress.kubernetes.io/canary-by-header-value: "gray"
        name: web-demo-cluster-gray
        name: web-demo
      spec:
        ingressClassName: mse
        rules:
        - host: example.com
          http:
            paths:
            - path: /service1
              pathType: Exact
              backend:
                service:
                  name: service1
                  port: 
                    number: 80

   2. 执行以下命令，在ACK One Fleet实例中部署Ingress。

      kubectl apply -f ingress-demo-cluster-gray.yaml -n gateway-demo

验证同城主备容灾实现效果

为便于验证，修改部署到Cluster 1和Cluster 2的副本数都为1，期望默认流量只被路由到Cluster 1，加灰度Header的流量被路由到Cluster 2，当Cluster 1应用异常后，默认流量也被路由到Cluster 2。

执行以下命令，获取多集群网关的对外IP。

kubectl get ingress web-demo -n gateway-demo -ojsonpath="{.status.loadBalancer}"

• 默认流量路由到Cluster 1

  执行以下命令，查看默认流量是否被路由到Cluster 1。

  替换以下XX.XX.XX.XX为上一步获取的多集群网关的对外IP。

  for i in {1..100}; do curl -H "host: example.com" xx.xx.xx.xx/service1; sleep 1;  done

  预期输出：预期输出表明，默认流量全都被路由到Cluster 1了。

• 通过header将请求路由到灰度版本

  执行以下命令，查看Header的请求是否被路由到灰度版本。

  替换以下XX.XX.XX.XX为上一步获取的多集群网关的对外IP。

  for i in {1..50}; do curl -H "host: example.com" -H "app-web-demo-version: gray" xx.xx.xx.xx/service1; sleep 1;  done

  预期输出：预期输出表明，添加了Header：app-web-demo-version: gray的请求都被路由到了Cluster 2（灰度版本）。

• Cluster 1异常后流量被容灾到Cluster 2

  如果将Cluster 1的Deployment的replica缩为0时，得到的输出结果如下，表明流量已被自动容灾到Cluster 2。