通过消息队列这类异步场景下的流量控制,您可以在不需要修改任何业务代码的情况下,实现全链路灰度。本文介绍MSE基于消息队列RocketMQ版实现全链路灰度。
前提条件
开通MSE专业版,请参见开通MSE微服务治理。
创建ACK集群,请参见创建Kubernetes托管版集群。
步骤一:将应用接入MSE微服务治理
在ACK中安装MSE治理中心组件
登录容器服务控制台。
在左侧导航栏单击 。
在应用目录页面搜索并单击ack-onepilot。
在详情页面选择开通该组件的集群,然后单击创建。
说明命名空间为ack-onepilot,不可修改。
安装完成后,在命名空间ack-onepilot中出现ack-onepilot应用,表示安装成功。
为ACK集群指定的命名空间开启MSE微服务治理
登录MSE治理中心控制台。
在左侧导航栏选择 。
在K8s集群列表页面搜索目标集群,单击图标,然后单击目标集群操作列下方的管理。
在集群详情页面命名空间列表区域,单击目标命名空间操作列下方的开启微服务治理。
在开启微服务治理对话框中单击确认。
步骤二:部署应用,模拟线上场景
分别部署spring-cloud-zuul、spring-cloud-a、spring-cloud-b、spring-cloud-c这四个业务应用,以及注册中心Nacos Server和消息服务RocketMQ Server,模拟出一个真实的调用链路。您也可以直接在Demo中获取对应的源码。
Demo应用的结构图下图,应用之间的调用,既包含了Spring Cloud的调用,也包含了Dubbo的调用,覆盖了当前市面上最常用的两种微服务框架。其中C应用会生产出RocketMQ消息,由A应用进行消费,A应用在消费消息时,也会发起新的调用。这些应用都是基础的Spring Cloud、Dubbo和RocketMQ的标准用法。
部署之前,简单介绍一下Demo示例的调用链路:spring-cloud-zuul应用在收到/A/dubbo
的请求时,会把请求转发给spring-cloud-a,然后 spring-cloud-a通过Dubbo协议去访问spring-cloud-b,spring-cloud-b也通过Dubbo协议去访问spring-cloud-c,spring-cloud-c在收到请求后,会生产一个消息,并返回自己的环境标签和IP。这些生产出来的消息会由spring-cloud-a应用消费,spring-cloud-a应用在消费消息的时候,会通过spring cloud去调用spring-cloud-b,spring-cloud-b进而通过spring cloud去调用spring-cloud-c,并且将结果输出到自己的日志中。
#当我们访问/A/dubbo的时候
#返回值是这样A[10.25.xx.xx] -> B[10.25.xx.xx] -> C[10.25.xx.xx]
#同时,A应用在接收到消息之后,输出的日志如下
2021-12-28 10:58:50.301 INFO 1 --- [essageThread_15] c.a.mse.demo.service.MqConsumer
: topic:TEST_MQ,producer:C[10.25.xx.xx],invoke result:A[10.25.xx.xx] -> B[10.25.xx.xx] -> C[10.25.xx.xx]
本章将以容器服务控制台部署应用为例进行说明,您也可以使用kubectl
的方式部署应用。
在容器服务控制台左侧导航栏中,单击集群。
- 在集群列表页面,单击目标集群名称或者目标集群右侧操作列下的详情。
- 在集群管理页左侧导航栏,选择 。
在无状态页面选择命名空间,然后单击使用YAML创建资源。
部署所使用的YAML文件如下:
# 部署Nacos Server apiVersion: apps/v1 kind: Deployment metadata: name: nacos-server spec: selector: matchLabels: app: nacos-server template: metadata: annotations: labels: app: nacos-server spec: containers: - env: - name: MODE value: "standalone" image: registry.cn-shanghai.aliyuncs.com/yizhan/nacos-server:latest imagePullPolicy: IfNotPresent name: nacos-server ports: - containerPort: 8848 --- apiVersion: v1 kind: Service metadata: name: nacos-server spec: type: ClusterIP selector: app: nacos-server ports: - name: http port: 8848 targetPort: 8848 # 部署业务应用 --- apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-zuul spec: selector: matchLabels: app: spring-cloud-zuul template: metadata: labels: app: spring-cloud-zuul msePilotCreateAppName: spring-cloud-zuul spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre - name: enable.mq.invoke value: 'true' image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-zuul:1.0.0 imagePullPolicy: Always name: spring-cloud-zuul ports: - containerPort: 20000 --- apiVersion: v1 kind: Service metadata: annotations: service.beta.kubernetes.io/alibaba-cloud-loadbalancer-spec: slb.s1.small service.beta.kubernetes.io/alicloud-loadbalancer-address-type: internet name: zuul-slb spec: ports: - port: 80 protocol: TCP targetPort: 20000 selector: app: spring-cloud-zuul type: LoadBalancer status: loadBalancer: {} --- apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-a spec: selector: matchLabels: app: spring-cloud-a template: metadata: labels: app: spring-cloud-a msePilotCreateAppName: spring-cloud-a spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0 imagePullPolicy: Always name: spring-cloud-a ports: - containerPort: 20001 livenessProbe: tcpSocket: port: 20001 initialDelaySeconds: 10 periodSeconds: 30 --- apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-b spec: selector: matchLabels: app: spring-cloud-b template: metadata: labels: app: spring-cloud-b msePilotCreateAppName: spring-cloud-b spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:1.0.0 imagePullPolicy: Always name: spring-cloud-b ports: - containerPort: 20002 livenessProbe: tcpSocket: port: 20002 initialDelaySeconds: 10 periodSeconds: 30 --- apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-c spec: selector: matchLabels: app: spring-cloud-c template: metadata: labels: app: spring-cloud-c msePilotCreateAppName: spring-cloud-c spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0 imagePullPolicy: Always name: spring-cloud-c ports: - containerPort: 20003 livenessProbe: tcpSocket: port: 20003 initialDelaySeconds: 10 periodSeconds: 30 --- apiVersion: apps/v1 kind: Deployment metadata: name: rockectmq-broker spec: selector: matchLabels: app: rockectmq-broker template: metadata: labels: app: rockectmq-broker spec: containers: - command: - sh - mqbroker - '-n' - 'mqnamesrv:9876' - '-c /home/rocketmq/rocketmq-4.5.0/conf/broker.conf' env: - name: ROCKETMQ_HOME value: /home/rocketmq/rocketmq-4.5.0 image: registry.cn-shanghai.aliyuncs.com/yizhan/rocketmq:4.5.0 imagePullPolicy: Always name: rockectmq-broker ports: - containerPort: 9876 protocol: TCP - containerPort: 10911 protocol: TCP - containerPort: 10912 protocol: TCP - containerPort: 10909 --- apiVersion: apps/v1 kind: Deployment metadata: name: rocketmq-name-server spec: selector: matchLabels: app: rocketmq-name-server template: metadata: labels: app: rocketmq-name-server spec: containers: - command: - sh - mqnamesrv env: - name: ROCKETMQ_HOME value: /home/rocketmq/rocketmq-4.5.0 image: registry.cn-shanghai.aliyuncs.com/yizhan/rocketmq:4.5.0 imagePullPolicy: Always name: rocketmq-name-server ports: - containerPort: 9876 protocol: TCP - containerPort: 10911 protocol: TCP - containerPort: 10912 protocol: TCP - containerPort: 10909 protocol: TCP --- apiVersion: v1 kind: Service metadata: name: mqnamesrv spec: type: ClusterIP selector: app: rocketmq-name-server ports: - name: mqnamesrv-9876-9876 port: 9876 targetPort: 9876
执行以下命令:
kubectl get svc,deploy
预期输出:
➜ ~ kubectl get svc,deploy NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/kubernetes ClusterIP 192.168.xx.xx <none> 4xx/TCP 7d service/mqnamesrv ClusterIP 192.168.xx.xx <none> 98xx/TCP 47h service/nacos-server ClusterIP 192.168.xx.xx <none> 88xx/TCP 47h service/zuul-slb LoadBalancer 192.168.xx.xx 123.56.xx.xx 80:302xxx/TCP 47h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/nacos-server 1/1 1 1 4m deployment.apps/rockectmq-broker 1/1 1 1 4m deployment.apps/rocketmq-name-server 1/1 1 1 5m deployment.apps/spring-cloud-a 1/1 1 1 5m deployment.apps/spring-cloud-b 1/1 1 1 5m deployment.apps/spring-cloud-c 1/1 1 1 5m deployment.apps/spring-cloud-zuul 1/1 1 1 5m
步骤三:为应用开启RocketMQ消息灰度
假设spring-cloud-c、spring-cloud-a应用为消息的生产者和消费者,为其开启RocketMQ消息灰度。
RocketMQ消息灰度功能开启和关闭需要容器服务控制台重新部署应用后才能生效。
消息的生产者和消息的消费者,需要同时开启RocketMQ消息灰度,消息的灰度功能才能生效。
消息类型目前只支持RocketMQ,包含开源版本和阿里云商业版。
如果您使用开源RocketMQ,则RocketMQ Server和RocketMQ Client都需要使用4.5.0及以上版本。
如果您使用阿里云RocketMQ,需要使用铂金版,且Ons Client使用1.8.0.Final及以上版本。
开启RocketMQ消息灰度后,MSE会修改消息的Consumer Group。例如原来的Consumer Group为group1,环境标签为gray,开启RocketMQ消息灰度后,则group会被修改成group1_gray,如果您使用的是阿里云RocketMQ ,请提前创建好group。
MSE默认使用SQL92的过滤方式,如果您使用开源RocketMQ,需要在服务端开启SQL92过滤功能(即在broker.conf中配置
enablePropertyFilter=true
)。
登录MSE治理中心控制台。
在左侧导航栏选择 。
在应用列表页面单击目标应用名称,进入应用详情页。
在应用详情页单击RocketMQ消息灰度页签,打开开启RocketMQ消息灰度开关,单击确定。
在容器服务控制台重新部署应用使配置生效。
步骤四:部署新版本应用
在K8s集群中部署新版本的spring-cloud-a-gray、spring-cloud-b-gray和spring-cloud-c-gray。
在容器服务控制台左侧导航栏中,单击集群。
- 在集群列表页面,单击目标集群名称或者目标集群右侧操作列下的详情。
- 在集群管理页左侧导航栏,选择 。
在无状态页面选择命名空间,然后单击使用YAML创建资源。
部署所使用的YAML文件如下:
apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-a-gray spec: selector: matchLabels: app: spring-cloud-a-gray template: metadata: annotations: alicloud.service.tag: gray labels: app: spring-cloud-a-gray msePilotCreateAppName: spring-cloud-a spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:1.0.0 imagePullPolicy: Always name: spring-cloud-a-gray ports: - containerPort: 20001 livenessProbe: tcpSocket: port: 20001 initialDelaySeconds: 10 periodSeconds: 30 --- apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-b-gray spec: selector: matchLabels: app: spring-cloud-b-gray template: metadata: annotations: alicloud.service.tag: gray labels: app: spring-cloud-b-gray msePilotCreateAppName: spring-cloud-b spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:1.0.0 imagePullPolicy: Always name: spring-cloud-b-gray ports: - containerPort: 20002 livenessProbe: tcpSocket: port: 20002 initialDelaySeconds: 10 periodSeconds: 30 --- apiVersion: apps/v1 kind: Deployment metadata: name: spring-cloud-c-gray spec: selector: matchLabels: app: spring-cloud-c-gray template: metadata: annotations: alicloud.service.tag: gray labels: app: spring-cloud-c-gray msePilotCreateAppName: spring-cloud-c spec: containers: - env: - name: JAVA_HOME value: /usr/lib/jvm/java-1.8-openjdk/jre image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:1.0.0 imagePullPolicy: Always name: spring-cloud-c-gray ports: - containerPort: 20003 livenessProbe: tcpSocket: port: 20003 initialDelaySeconds: 10 periodSeconds: 30
步骤五:引入流量并进行验证
在MSE治理中心控制台左侧导航栏选择 。
在应用列表页面单击目标应用spring-cloud-a,进入应用详情页,可以看到,所有的流量请求都是去往spring-cloud-a应用未打标的版本,即稳定版本。
在应用详情页面下方选择标签路由页签,在打了
gray
标签的应用流量规则下方单击添加。在创建标签路由面板中配置流量规则,然后单击确定。
本文示例中设置的流量规则条件为
name=xiaoming
。关于流量规则的配置,请参见配置标签路由。
流量规则生效后,在应用详情页面可以查看流量分布结果。
在spring-cloud-a的应用详情页面下方选择标签路由页签,在打了
gray
标签的应用流量规则下方单击目标规则名称,打开链路透传的开关,然后单击确定。说明打开链路透传开关后,
name=xiaoming
的灰度流量能在全链路里进行透传,且无需重复地配置规则。在容器服务控制台集群详情页面左侧导航栏选择 。
单击zuul-slb服务所对应的外部端点地址。
在服务调用页面输入/A/a?name=xiaoming,然后单击开始调用。
全链路金丝雀发布已经生效。
此时,spring-cloud-b应用的请求数据如下:
步骤六:调整消息的标签过滤规则,并进行验证
在MSE治理中心控制台左侧导航栏选择 。
在应用列表页面单击目标应用spring-cloud-a,进入应用详情页。
在应用详情页面下方的RocketMQ消息灰度页签中找到未打标环境忽略的标签参数,在标签列表中选择
gray
,单击确定。在未打标环境忽略的标签中,选择
gray
,意味着带着gray环境标的消息,只能由spring-cloud-a-gray消费,不能由spring-cloud-a来消费。未打标环境忽略的标签参数配置完成后动态生效,您不需要进行重启的操作。说明默认情况下,未打标节点将消费所有环境的消息,如果需要指定某个未打标环节点不消费某个标签环境生产出来的消息,只需配置未打标环境忽略的标签参数即可。
登录容器服务控制台,查看spring-cloud-a应用的日志,验证配置。
从下图日志中,可以看到,此时基线环境可以同时消费gray和基线环境生产出来的消息,而且在消费对应环境消息时产生的Spring Cloud调用分别路由到gray和基线环境中。