使用多集群网关管理南北流量 - 容器服务 Kubernetes 版 ACK

ACK One多集群网关基于MSE Ingress提供了强大的多集群南北向流量的管理，可以快速帮您实现同城应用多活容灾、流量多集群负载均衡、基于Header路由流量到指定集群等能力。本文介绍如何通过多集群网关管理多集群应用的南北流量。

背景信息

多集群网关优势

在容器服务领域，管理集群内服务的南北向流量的常用方式是使用Ingress资源进行管理。但Ingress为单集群维度，无法独立为多个集群中的应用流量进行管理，因此，ACK One基于MSE Ingress实现地域级的Global Ingress来统一处理多集群应用的南北向流量，并提供强大的流量管理能力，帮助您快速、低成本地实现同城应用多活容灾、流量多集群负载均衡、基于Header路由流量到指定集群等能力。此外，多集群网关使用易上手的Ingress API进行管理，极大地降低了使用门槛。

重要

使用多集群网关会产生一定的费用，关于多集群网关的计费信息，请参见普通实例计费概述。

MSE相关文档

MseIngressConfig是由MSE Ingress Controller提供的CRD资源，用于管理MSE云原生网关实例的生命周期，配置Ingress监听选项以及全局配置。MseIngressConfig的常见用法，请参见配置MseIngressConfig。
MSE Ingress已支持Nginx-Ingress核心和常用的Annotation，并推出额外的Annotation来弥补Nginx-Ingress的不足。更多信息，请参见MSE Ingress支持的Annotation。

前提条件

已开启多集群网关。
已在ACK One Fleet实例中开启GitOps。
已在ACK One Fleet实例中创建Namespace，该Namespace与关联集群中部署应用的Namespace一致。

步骤一：在ACK One Fleet实例中创建多集群网关

在ACK One Fleet实例中创建一个多集群网关（网关默认可用区高可用），并将关联集群添加至多集群网关

通过控制台创建

登录ACK One控制台，在左侧导航栏选择舰队 > 多集群网关。
在多集群网关页面右上角单击创建网关。
在弹出的面板中，根据实际情况修改创建多集群网关的YAML文件，然后单击创建。

通过命令行创建

获取ACK One Fleet实例的虚拟交换机ID并记录。
1. 执行以下命令，获取交换机实例ID。
```
aliyun adcp DescribeHubClusterDetails --ClusterId <YOUR_FLEET_CLUSTERID>
```
1. 从预期输出的VSwitches中复制一个交换机实例ID。

使用以下内容，创建mseingressconfig.yaml文件。

替换以下${vsw-id1}为您上一步获取的交换机ID。您也可以在创建网关时，通过添加Annotation同步指定待添加到多集群网关的关联集群。

apiVersion: mse.alibabacloud.com/v1alpha1
kind: MseIngressConfig
metadata:
  name: ackone-gateway
  # 添加关联集群到MSE网关。
  #annotations:
  #  mse.alibabacloud.com/remote-clusters: ${cluster1},${cluster2}
spec:
  common:
    instance:
      replicas: 3
      spec: 2c4g
    network:
      # 公网SLB和内网SLB，可都配置，如果2个字段都不配置则默认使用公网SLB。
      #publicSLBSpec: slb.s2.small
      #privateSLBSpec: slb.s2.small
      vSwitches:
      - ${vsw-id1}
  ingress:
    local:
      ingressClass: mse
  name: mse-ingress

执行以下命令，在ACK One Fleet实例中创建一个名为mse-ingress的网关。
```
kubectl apply -f mseingressconfig.yaml
```
执行以下命令，验证网关是否创建成功。
```
kubectl get mseingressconfig ackone-gateway
```
预期输出：
```
NAME             STATUS      AGE
ackone-gateway   Listening   3m15s
```
预期输出中网关状态为Listening，表明云原生网关创建成功处于运行状态，并自动监听集群中IngressClass为mse的Ingress资源。
通过MseIngressConfig创建的多集群网关会按照Pending、Running、Listening的状态依次变化。各状态说明如下：
- Pending：表明云原生网关正在创建中，需等待3分钟左右。
- Running：表明云原生网关创建成功，并处于运行状态。
- Listening：表明云原生网关处于运行状态，并监听集群中Ingress资源。
- Failed：表明云原生网关处于非法状态，可以查看Status字段中的Message来进一步明确原因。

步骤二：在多集群网关中添加关联集群

通过控制台添加

登录ACK One控制台，在左侧导航栏选择舰队 > 多集群网关。
在多集群网关页面上方的下拉框中选择要修改的目标多集群网关，然后在页面右上角单击编辑。
在弹出的面板中修改MseIngresConfig.yaml文件，修改annotations参数中的集群ID，然后单击更新。
示例如下：
```
annotations:
  mse.alibabacloud.com/remote-clusters: ${cluster1-id},${cluster2-id}
```
- ${cluster1-id}，${cluster2-id}为添加的关联集群的ID，多个关联集群以英文半角逗号（,）间隔，您可以通过修改集群ID来添加或删除关联的集群。
- 若创建多集群网关时未添加关联集群，则MseIngresConfig.yaml文件中没有annotations参数，添加关联集群时，您需要将以上示例添加到MseIngresConfig.yaml文件的metadata对象中，再修改集群ID。

通过命令行方式添加

在ACK One Fleet实例中，通过mseingressconfig对象的Annotation控制多集群网关中添加或删除关联集群。替换以下${cluster1-id}、${cluster2-id}为您待添加的关联集群的ID，添加多个关联集群时，中间以英文半角逗号（,）间隔。
```
annotations:
  mse.alibabacloud.com/remote-clusters: ${cluster1-id},${cluster2-id}
```
执行以下命令，查看关联集群是否已成功添加至多集群网关。
```
kubectl get mseingressconfig ackone-gateway -ojsonpath="{.status.remoteClusters}"
```
预期输出：
```
[{"clusterId":"c7fb82****"},{"clusterId":"cd3007****"}]
```
预期输出中已包含指定的ClusterID，并且无Failed信息，表明关联集群已成功添加至多集群网关。

步骤三：使用GitOps部署Demo应用

使用GitOps将Demo应用部署到两个关联的ACK集群中。具体操作，请参见GitOps快速入门。

创建2个GitOps Application，分别对应2个关联集群。示例：web-demo-cluster1、web-demo-cluster2。
Source配置如下：
- Repository URL设置为https://github.com/AliyunContainerService/gitops-demo.git
- Revision设置为HEAD
- Path设置为manifests/helm/web-demo
DESTINATION分别选择2个关联集群，namespace设置为web-demo。
Helm Values Files中的参数名称为envName，value分别为cluster1、cluster2。

部署后的Deployment和Service的YAML文件如下。

展开查看Deployment和Service的YAML文件

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: web-demo
    app.kubernetes.io/instance: web-demo-cluster1
  name: web-demo
  namespace: web-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: web-demo
  template:
    metadata:
      labels:
        app: web-demo
    spec:
      containers:
      - name: web-demo
        image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/web-demo:0.4.0
        env:
        - name: ENV_NAME
          value: cluster1
---
apiVersion: v1       
kind: Service
metadata:
  name: service1
  namespace: web-demo
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 8080
  selector:
    app: web-demo
  sessionAffinity: None
  type: ClusterIP

步骤四：使用MSE Ingress管理多集群流量

通过在Ingress中指定IngressClass来使用MSE Ingress，并且使用不同的Annotation实现不同的流量管理能力。MSE Ingress不仅支持Nginx-Ingress核心和常用的Annotation，还针对Nginx-Ingress Annotation未支持的流量治理配置，推出额外的Annotation以弥补Nginx-Ingress的不足。MSE Ingress支持的Annotations请参见MSE Ingress支持的Annotation。下文以典型的多集群流量管理场景为例说明。

重要

Ingress对象和Demo应用中Service对象的Namespace需要保持一致。

示例1：默认负载均衡到所有服务后端

在ACK One Fleet实例中创建以下Ingress对象，可以默认将流量负载均衡到所有集群的同名服务后端，所有副本均衡。路由到不同集群的流量比例等同于集群中的副本数量的比例，例如，Cluster 1和Cluster 2中副本数比例为9:1，则流量在Cluster 1和Cluster 2中的流量比也为9:1。本例使用1:1的副本数演示。拓扑如下所示：

使用以下内容，创建ingress-demo.yaml文件。

以下Ingress对象的YAML文件中，通过域名example.com下的/svc1路由规则暴露后端服务service1。

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: web-demo
  namespace: web-demo
spec:
  ingressClassName: mse
  rules:
  - host: example.com
    http:
      paths:
      - path: /svc1
        pathType: Exact
        backend:
          service:
            name: service1
            port: 
              number: 80

执行以下命令，在ACK One Fleet实例中部署Ingress。
```
kubectl apply -f ingress-demo.yaml
```

执行以下命令，获取多集群网关对外IP。

kubectl get ingress web-demo -nargocd -ojsonpath="{.status.loadBalancer}"

执行以下命令，查看流量的路由情况。

替换以下XX.XX.XX.XX为上一步获取的多集群网关对外IP。

for i in {1..50}; do curl -H "host: example.com" XX.XX.XX.XX/svc1; sleep 1;  done

预期输出：

This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster2 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is

预期输出表明，流量被路由到所有集群上。

示例2：流量仅路由到指定集群

在ACK One Fleet实例中创建以下Ingress对象，可以将流量仅路由到Cluster 1的服务后端。拓扑如下所示：

使用以下内容，创建ingress-demo-cluster-one.yaml文件。
以下Ingress对象的YAML文件中，通过添加两个Annotations mse.ingress.kubernetes.io/service-subset、mse.ingress.kubernetes.io/subset-labels以实现域名example.com下的/service1路由规则暴露后端服务service1。关于MSE Ingress支持的Annotations详情，请参见MSE Ingress支持的Annotation。
- mse.ingress.kubernetes.io/service-subset：服务的子版本名称。建议定义为与目标集群相关且可读性强的值。
- mse.ingress.kubernetes.io/subset-labels：指定目标集群的ID。
```
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    mse.ingress.kubernetes.io/service-subset: cluster-demo-1
    mse.ingress.kubernetes.io/subset-labels: |
      topology.istio.io/cluster ${cluster1-id}
  name: web-demo-cluster-one
  namespace: web-demo
spec:
  ingressClassName: mse
  rules:
  - host: example.com
    http:
      paths:
      - path: /service1
        pathType: Exact
        backend:
          service:
            name: service1
            port: 
              number: 80
```
执行以下命令，在ACK One Fleet实例中部署Ingress。
```
kubectl apply -f ingress-demo-cluster-one.yaml
```

执行以下命令，获取多集群网关对外IP。

kubectl get ingress web-demo -nargocd -ojsonpath="{.status.loadBalancer}"

执行以下命令，查看流量的路由情况。

替换以下XX.XX.XX.XX为上一步获取的多集群网关对外IP。

for i in {1..50}; do curl -H "host: example.com" XX.XX.XX.XX/service1; sleep 1;  done

预期输出：

This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
...

预期输出表明，固定的流量被路由到Cluster 1上。

示例3：根据Header将流量路由到指定集群

如需根据自定义Header将流量路由到指定集群的服务后端，您可以在ACK One Fleet实例中创建Example 1或者Example 2Ingress对象，然后再创建以下Ingress对象（此Ingress对象无法单独生效）。拓扑如下所示：

重要

基于Header方式进行流量调度时，您需要在Ingress的注解上配置Canary注解和Header匹配策略，同时需确保已存在另一个Ingress中不包含Canary注解且存在相同的Host + Path访问另一个集群中的服务。即Header方式的Ingress不能单独生效，需搭配使用另一个不指定Header的Ingress指向另一个集群中的服务。

使用以下内容，创建ingress-demo-header.yaml文件。

以下Ingress对象的YAML文件中，通过域名example.com下的/service1路由规则暴露后端服务service1。

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    mse.ingress.kubernetes.io/service-subset: cluster-demo-2
    mse.ingress.kubernetes.io/subset-labels: |
      topology.istio.io/cluster c15d48ca9d1fd43f9bbb89c56a474843c
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-by-header: "stage"
    nginx.ingress.kubernetes.io/canary-by-header-value: "gray"
  name: web-demo-cluster-second
  namespace: web-demo
spec:
  ingressClassName: mse
  rules:
  - host: example.com
    http:
      paths:
      - path: /service1
        pathType: Exact
        backend:
          service:
            name: service1
            port: 
              number: 80

执行以下命令，在ACK One Fleet实例中部署Ingress。
```
kubectl apply -f ingress-demo-header.yaml
```

执行以下命令，获取多集群网关对外IP。

kubectl get ingress web-demo -nargocd -ojsonpath="{.status.loadBalancer}"

执行以下命令，查看流量的路由情况。

替换以下XX.XX.XX.XX为上一步获取的多集群网关对外IP。

for i in {1..50}; do curl -H "host: example.com" -H "stage: gray" xx.xx.xx.xx/service1; sleep 1;  done

预期输出：

This is env cluster2 !
Config file is 
This is env cluster2 !
Config file is 
This is env cluster2 !
Config file is 
This is env cluster2 !
Config file is 
This is env cluster2 !
Config file is 
...

预期输出表明，流量根据Header stage: gray被路由到Cluster 2上。

示例4：多集群应用跨集群容灾

多集群网关具备多集群应用跨集群容灾的能力，无需额外配置。例如，上述配置的多集群网关管理了两个关联的ACK集群的流量，如果其中一个集群的服务异常或被删除，流量会自动转到另一个可用集群。上述示例1、示例2、示例3均一样，即使已经指定路由到某个集群，但当此集群上的应用异常后，也会被容灾到其他集群上。

以下以示例3为例说明，在正常情况下，添加Header stage: gray，您可以访问到Cluster 2的后端，当Cluster 2的Deployment副本数被缩为0时，请求会切换至Cluster 1的后端。拓扑如下所示：

执行以下命令，获取多集群网关对外IP。

kubectl get ingress web-demo -nargocd -ojsonpath="{.status.loadBalancer}"

执行以下命令，查看流量的路由情况。

替换以下XX.XX.XX.XX为上一步获取的多集群网关对外IP。

for i in {1..50}; do curl -H "host: example.com" -H "stage: gray" XX.XX.XX.XX/service1; sleep 1;  done

预期输出：

This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
...

预期输出表明，流量被自动容灾到Cluster 1上。

示例5：根据权重进行流量路由

在示例1中，您可以通过调节集群中副本数的比例，实现按比例路由流量到不同的集群。本示例介绍如何在Annotations中配置权重来按比例路由流量到不同的集群，也可以使用该方式进行灰度发布。您可以在ACK One Fleet实例中创建以下2个Ingress对象实现该能力，拓扑如下所示：

重要

基于权重方式进行流量调度时，您需要在Ingress的注解上配置Canary注解和Header匹配策略，同时需保证已存在另一个Ingress不含有Canary注解且存在相同的Host + Path访问另一个集群中的服务。即权重方式的Ingress不能单独生效，需搭配使用另一个不指定权重的Ingress指向另一个集群中的服务。

使用以下内容，创建ingress-weight.yaml文件。

以下Ingress对象的YAML文件中，替换YAML中的${cluster1-id}为目标集群ID。通过添加Annotations以实现域名example.com下的/svc1-w路由规则暴露后端服务service1。

mse.ingress.kubernetes.io/service-subset：服务的子版本名称。建议定义为与目标集群相关且可读性强的值。
mse.ingress.kubernetes.io/subset-labels：目标ACK集群的ID。
nginx.ingress.kubernetes.io/canary：设置为"true"，表示开启灰度发布能力。

nginx.ingress.kubernetes.io/canary-weight：请求到该集群的流量百分比（值为0~100的整数）。

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    mse.ingress.kubernetes.io/service-subset: cluster-demo-1
    mse.ingress.kubernetes.io/subset-labels: |
      topology.istio.io/cluster ${cluster1-id}
  name: web-demo-weight
  namespace: web-demo
spec:
  ingressClassName: mse
  rules:
  - host: example.com
    http:
      paths:
      - path: /svc1-w
        pathType: Exact
        backend:
          service:
            name: service1
            port: 
              number: 80
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    mse.ingress.kubernetes.io/service-subset: cluster-demo-2
    mse.ingress.kubernetes.io/subset-labels: |
      topology.istio.io/cluster ${cluster2-id}
    nginx.ingress.kubernetes.io/canary: "true"
    nginx.ingress.kubernetes.io/canary-weight: "10"
  name: web-demo-weight-canary
  namespace: web-demo
spec:
  ingressClassName: mse
  rules:
  - host: example.com
    http:
      paths:
      - path: /svc1-w
        pathType: Exact
        backend:
          service:
            name: service1
            port: 
              number: 80

执行以下命令，在ACK One Fleet实例中部署Ingress。
```
kubectl apply -f ingress-weight.yaml -nargocd
```

执行以下命令，获取多集群网关对外IP。

kubectl get ingress web-demo -nargocd -ojsonpath="{.status.loadBalancer}"

执行以下命令，查看流量的路由情况。

替换以下XX.XX.XX.XX为上一步获取的多集群网关对外IP。

for i in {1..50}; do curl -H "host: example.com" XX.XX.XX.XX/svc1-w; sleep 1;  done

预期输出：

This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster2 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster1 !
Config file is 
This is env cluster2 !
Config file is 
This is env cluster1 !
Config file is 
...

预期输出表明，根据权重进行流量路由，90%的流量被路由到Cluster 1上，10%的流量被路由到Cluster 2上。