Spring Cloud Gray 是一套开源的微服务灰度路由解决方案,它由spring-cloud-gray-client,spring-cloud-gray-client-netflix 和 spring-cloud-tray-server,spring-cloud-gray-webui组成。

spring-cloud-gray-client定义了一套灰度路由决策模型,灰度信息追踪模型,以及和spring-cloud-gray-server的基本通信功能。
spring-cloud-gray-client-netflix在spring-cloud-gray-client的基础上集成了微服务注册中心eureka,扩展ribbon的负载均衡规则,提供了对zuul,feign,RestTemplate的灰度路由能力,并且无缝支持hystrix线程池隔离。
spring-cloud-gray-server负责灰度决策、灰度追踪等信息的管理以及持久化。
spring-cloud-gray-webui提供操作界面。

SpringCloudGray能做什么

1. 金丝雀测试

先发布1台实例,用于测试验证,指定测试的流量进入这台实例,其它流量依然进入其它正常的实例。优势在于发布成本小,快速测试,并且不影响正常用户体验影响,即使测试不通过,也只需回滚这一台实例,用户无感知。

f3e456da463cd5c9d7c8ef777fd48407.png

2. 灰度放量

通过金丝雀测试后,可以逐渐放量到新的版本上。例如,根据userId或者ip放5%的流量到其中一台灰度实例上,观察一段时间没异常,可调整放入20%的流量,如果一台实例扛不住,可再发一台或多台实例。将发布产生的风险保持在可控范围内。

17657f587338c826545a6b82f6a0b589.png

3. 切断实例流量

当线上出现问题,可将某台实例的流量切断,保留现场,设置指定的请求进入实例,在线调试并且不影响其它用户。

cb749627df27d34c75939b41b019906c.png

4. 数据透传

借助灰度追踪的能力,在网关处记录用户请求的最初的数据,可以将之透传到请求完整的调用链中。

5. 借助“破窗”能力,实例蓝绿发布

首次上灰度时,会存在两种环境,一种是已经依赖了灰度客户端的环境,另一种是正常运行的当前环境。假如微服务的负载均衡是由ribbon实现,那么当前环境会请求路由到实例状态为UP的实例上,而依赖了灰度客户端的环境,则可以通过"破窗"能力,跟灰度路由结合,可以将匹配灰度策略的请求路由到实例状态为STARTING的实例上,不匹配灰度策略的请求路由到实例状态为UP的实例上。 

486cc68b9e81ebead111a9a664f0f998.png

设计思想

在微服务架构中,接口的调用通常是服务消费方按照某种负载均衡策略去选择服务实例;但这无法满足线上更特殊化的一些路由逻辑,比如根据一次请求携带的请求头中的信息路由到某一个服务实例上。Spring Cloud Gray正是为此而创建。在Spring Cloud Gray中定义了几个角色灰度客户端(gray-client)、灰度管控端(gray-server)、注册中心。

db9f25019eee4553055e28aab084590f.png

注册中心 负责服务的注册和发现。

灰度客户端 灰度的客户端是指依赖了spring-cloud-gray-client的服务,一般是指服务消费方。

灰度管控端 负责灰度信息的管理、持久化等维护工作。

灰度客户端会从灰度管控端拉取一份灰度信息的清单,并在内存中维护这份清单信息,清单中包含服务,服务实例,灰度策略,灰度追踪字段等。当请求达到网关时,网关就会在灰度追踪中将需要透传的信息记录下来,并将传递给转发的服务实例,后面的接口调用也会按照同样的逻辑将追踪信息透传下去,从而保证所有一个请求在微服务调用链中的灰度路由。
如下图所示:

4b9a998eb34965009b22ee94d6062899.png

管控端的功能

1. 用户管理

可添加用户,禁用用户,重置密码等。 

9d0b527038a4fd788396629a2d653e76.png

2. 服务列表 

7429742e56bedb37c40f8910216afda2.png

3. 权限控制

灰度的权限控制是以服务为对象的,拥有服务的权限,就可以操作服务的所有灰度信息。在服务的权限控制中,分为两种角色,owner和管理者,owner拥有最大的权限,管理者除了不能删除owner的权限,其它权限同owner一样。 

6a9cbb1690c9fa984ce43bd98fe49eaf.png

043314dd657ad9bba372757085b96dda.png

4. 灰度实例管理

列出服务的灰度实例列表 

9886f90869ffa5978addc0c8b8254932.png

5. 在线实例列表

列出指定服务在注册中心注册的实例,点击【Add】按钮,可快速添加为实例实例 

b741108a42339aed98cfa9dbaa3043ad.png

6. 编辑灰度策略

从实例列表点击【策略】按钮进入灰度策略列表,可在策略列表中添加灰度策略和灰度决策。

实例的灰度策略,包含可多个灰度决策。
 策略是从灰度实例列表进入。一个实例可以有多个灰度策略,策略与策略之间是"或"的关系。就是说,一个请求只要 满足实例的任意一个灰度策略,这个请求被路由到该实例上。

决策是灰度中进行比对的最小项。它定义一种规则,对请求进行比对,返回 true/false。当请求调用时,灰度调用端可以根据灰度实例的灰度决策,进行对比,以判断灰度实例是否可以受理该请求。多个决策是"与"的关系。

6def927658cb1c1a656ee4df1d21a540.png

74e8cc7e3ad75e84aaf9246041c3cfcb.png

7. 编辑灰度追踪

从服务列表点击【追踪】按钮进入 

f629324fb6eb1cff06d04178af77765f.png

8. 改变实例状态

可在实例列表中,通过【实例状态】按钮修改实例状态。

2a992314209bb58127760b2336a3941a.png

9. 操作审记

所有的POST,PUT,DELETE操作都会被记录下来,可能通过操作记录查询,用于事后审计。 

8fa2b7777b36732e8de9626ee7998b6c.png

查询维度包括:

  • StartTime - EndTime 记录时间

  • Operator Id 操作人Id

  • ApiRes Code 接口返回的ApiRes Code

  • operate State 操作的结果

  • Request Hander spring mvc 的接口(Controller/Handler)的类名和方法

  • URI 接口的uri

  • IP http请求(操作人)的ip

版本信息

项目版本srpingcloud版本springboot版本
A.1.1.0Edgware.SR61.5.22.RELEASE
B.0.0.1Finchley.SR42.0.9.RELEASE
C.0.0.1-SNAPHOSTGreenwich.SR22.1.7.RELEASE

工程模块

功能模块

模块描述
spring-cloud-gray-utils工具包
spring-cloud-gray-core灰度数据模型/Java Bean定义,client端和server端通用
spring-cloud-gray-client灰度客户端的核心代码,属于灰度客户端的内核
spring-cloud-gray-client-netflix灰度客户端与spring cloud netflix集成的代码,与之相关的插件都依赖这个模块
spring-cloud-gray-plugin-webmvc支撑灰度客户端在spring mvc运行的插件
spring-cloud-gray-plugin-webflux支撑灰度客户端在spring webfulx运行的插件(B版及以上)
spring-cloud-gray-plugin-eureka灰度客户端与注册中心eureka集成的插件
spring-cloud-gray-plugin-feign灰度客户端与openFiegn集成的插件
spring-cloud-gray-plugin-zuul灰度客户端与zuul 1.0集成的插件
spring-cloud-gray-plugin-gateway灰度客户端与spring cloud gateway集成的插件(B版及以上)
spring-cloud-gray-plugin-event-stream灰度客户端与spring cloud stream(rabbitmq)集成的插件
spring-cloud-gray-server灰度管控端的核心代码
spring-cloud-gray-server-plugin-eureka灰度管控端与注册中心eureka集成的插件
spring-cloud-gray-server-plugin-event-stream灰度管控端与spring cloud stream(rabbitmq)集成的插件
spring-cloud-starter-gray-client灰度客户端starter
spring-cloud-starter-gray-server灰度管控端starter
spring-cloud-starter-gray-eureka-servereureka server的灰度插件
spring-cloud-gray-webui灰度管控端的web界面,vue编写

示例模块

模块描述
spring-cloud-gray-eureka-sampleeureka server/注册中心
spring-cloud-gray-server-sample灰度管控端示例,界面是spring-cloud-gray-webui模块
spring-cloud-gray-service-a-sample服务提供方示例
spring-cloud-gray-service-a1-sample服务提供方示例
spring-cloud-gray-ervice-b-sample服务消费方示例
spring-cloud-gray-zuul-samplezuul网关示例
spring-cloud-gray-gateway-samplespring-cloud-gateway网关示例(B版及以上)

灰度决策

灰度决策是灰度路由的关键,灰度决策由工厂类创建,工厂类的抽象接口是cn.springcloud.gray.decision.factory.GrayDecisionFactory。
目前已有的灰度决策有:

名称工厂类描述
HttpHeaderHttpHeaderGrayDecisionFactory根据http请求头的字段进行判断
HttpMethodHttpMethodGrayDecisionFactory根据http请求方法的字段进行判断
HttpParameterHttpParameterGrayDecisionFactory根据http url参数进行判断
HttpTrackHeaderHttpTrackHeaderGrayDecisionFactory根据灰度追踪记录的http请求头的字段进行判断
HttpTrackParameterHttpTrackParameterGrayDecisionFactory根据灰度追踪记录的http url参数进行判断
TraceIpGrayTraceIpGrayDecisionFactory根据灰度追踪记录的请求ip进行判断
TrackAttributeTrackAttributeGrayDecisionFactory根据灰度追踪记录的属性值进行判断
FlowRateGrayFlowRateGrayDecisionFactory按百分比放量进行判断

自定义灰度决策实现

如果上面这些决策还不能满足需求,那么可以扩展cn.springcloud.gray.decision.factory.GrayDecisionFactory,实现自定义的逻辑,发布到spring 容器中即可。如:

import cn.springcloud.gray.decision.GrayDecision;import cn.springcloud.gray.decision.factory.AbstractGrayDecisionFactory;import cn.springcloud.gray.request.GrayHttpTrackInfo;import lombok.Getter;import lombok.Setter;import org.apache.commons.lang3.StringUtils;import org.springframework.stereotype.Component;@Componentpublic class VersionGrayDecisionFactory extends AbstractGrayDecisionFactory<VersionGrayDecisionFactory.Config> {    public VersionGrayDecisionFactory() {        super(VersionGrayDecisionFactory.Config.class);    }    @Override    public GrayDecision apply(Config configBean) {        return args -> {            GrayHttpTrackInfo grayRequest = (GrayHttpTrackInfo) args.getGrayRequest().getGrayTrackInfo();           int version = StringUtils.defaultIfNull(grayRequest.getAttribute(USER_ID_PARAM_NAME), "0");            if(StringUtils.equal(configBean.getCompareMode(), "LT")){                return configBean.getVersion() > version;            }else if(StringUtils.equal(configBean.getCompareMode(), "GT")){                return configBean.getVersion() < version;            }else{              return configBean.getVersion() == version;            }        };    }    @Setter    @Getter    public static class Config {        private String compareMode;        private int varsion;    }}

灰度追踪

灰度追踪记录的逻辑是由cn.springcloud.gray.request.GrayInfoTracker的实现类实现。
目前已有的灰度追踪有:

名称实现类描述
HttpReceiveHttpReceiveGrayInfoTracker接收调用端传递过来的灰追踪信息
HttpHeaderHttpHeaderGrayInfoTracker获取http请求的header并记录到灰度追踪的Header中
HttpIPHttpIPGrayInfoTracker获取http请求的ip并记录到灰度追踪中
HttpMethodHttpMethodGrayInfoTracker获取http请求的请求方法并记录到灰度追踪中
HttpParameterHttpParameterGrayInfoTracker获取http请求的url参数并记录到灰度追踪的parameter中
HttpURIHttpURIGrayInfoTracker获取http请求的URI并记录到灰度追踪中

自定义灰度追踪实现

如果上面这些决策还不能满足需求,那么可以扩展cn.springcloud.gray.request.GrayInfoTracker,实现自定义的逻辑,发布到spring 容器中即可。如:

import cn.springcloud.gray.request.GrayHttpTrackInfo;import cn.springcloud.gray.request.TrackArgs;import cn.springcloud.gray.web.tracker.HttpGrayInfoTracker;import lombok.extern.slf4j.Slf4j;import org.springframework.security.core.Authentication;import org.springframework.security.core.context.SecurityContext;import org.springframework.security.core.context.SecurityContextHolder;import org.springframework.security.core.userdetails.UserDetails;import org.springframework.stereotype.Component;import javax.servlet.http.HttpServletRequest;@Slf4j@Componentpublic class UserIdGrayInfoTracker implements HttpGrayInfoTracker {    @Override    public void call(TrackArgs args) {        SecurityContext securityContext = SecurityContextHolder.getContext();        Authentication authentication = securityContext.getAuthentication();        String userId = null;        if (authentication.getPrincipal() instanceof UserDetails) {            UserDetails springSecurityUser = (UserDetails) authentication.getPrincipal();            userId = springSecurityUser.getUsername();        } else if (authentication.getPrincipal() instanceof String) {            userId = (String) authentication.getPrincipal();        }        args.getTrackInfo().setAttribute("userId", userId);    }}

项目扩展

项目已经实现了灰度的内核,如果要与其它的注册中心或者负载均衡中间件集成,只需实现相应的plugin即可,spring cloud gray已经提供了eureka、ribbon、feign、zuul以及spring cloud gateway和spring cloud stream的plugin,添加相应的plugin依赖即可。

Github地址

https://github.com/SpringCloud/spring-cloud-gray

!!! 欢迎Start收藏!!!

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐