一、服务链路追踪导论

1.背景

对于一个大型的几十个、几百个微服务构成的微服务架构系统，通常会遇到下面一些问题，比如：

1. 如何串联整个调用链路，快速定位问题？
2. 如何理清各个微服务之间的依赖关系？
3. 如何进行各个微服务接口的性能分折？
4. 如何跟踪整个业务流程的调用处理顺序？

2.链路追踪选型

1. Zipkin是Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。
2. Pinpoint是韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无代码侵入。
3. SkyWalking是本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能较强，接入端无代码侵入。目前已加入Apache孵化器。
4. CAT是大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等一系列的监控平台工

起对比如下：

探针性能对比

模拟了三种并发用户：500，750，1000。使用jmeter测试，每个线程发送30个请求，设置思考时间为10ms。使用的采样率为1，即100%，这边与生产可能有差别。pinpoint默认的采样率为20，即50%，通过设置agent的配置文件改为100%。zipkin默认也是1。组合起来，一共有12种。下面看下汇总表：

从上表可以看出，在三种链路监控组件中，skywalking的探针对吞吐量的影响最小，zipkin的吞吐量居中。pinpoint的探针对吞吐量的影响较为明显，在500并发用户时，测试服务的吞吐量从1385降低到774，影响很大。然后再看下CPU和memory的影响，在内部服务器进行的压测，对CPU和memory的影响都差不多在10%之内。 

二、Skywalking

1.Skywalking基础概念

1.什么是Skywalking？

skywalking是一个国产开源框架，2015年由吴晟开源 ， 2017年加入Apache孵化器。skywalking是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。SkyWalking 是观察性分析平台和应用性能管理系统，提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。

2. Skywalking主要功能特性

1、多种监控手段，可以通过语言探针和service mesh获得监控的数据；

2、支持多种语言自动探针，包括 Java，.NET Core 和 Node.JS；

3、轻量高效，无需大数据平台和大量的服务器资源；

4、模块化，UI、存储、集群管理都有多种机制可选；

5、支持告警；

6、优秀的可视化解决方案；

3. Skywalking支持三种探针

● Agent – 基于ByteBuddy字节码增强技术实现，通过jvm的agent参数加载，并在程序启动时拦截指定的方法来收集数据。

● SDK – 程序中显式调用SkyWalking提供的SDK来收集数据，对应用有侵入。

● Service Mesh – 通过Service mesh的网络代理来收集数据。

2.架构设计

1. Skywalking整体架构

整个架构分成四部分：

1、上部分Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器；

2、下部分 SkyWalking OAP ：负责接收Agent发送的Tracing数据信息，然后进行分析(Analysis Core)，存储到外部存储器(Storage)，最终提供查询(Query)功能；

3、右部分Storage：Tracing数据存储，目前支持ES、MySQL、Sharding Sphere、TiDB、H2多种存储器，目前采用较多的是ES，主要考虑是SkyWalking开发团队自己的生产环境采用ES为主；

4、左部分SkyWalking UI：负责提供控制台，查看链路等等；

简单来说就是负责数据采集-数据分析-数据存储-数据查询可视化页面。

2.模块交互流程

后端（Backend）

接受探针发送过来的数据，进行度量分析，调用链分析和存储。后端主要分为两部分：

● OAP（Observability Analysis Platform）- 进行度量分析和调用链分析的后端平台，并支持将数据存储到各种数据库中，如：ElasticSearch，MySQL，InfluxDB等。

● OAL（Observability Analysis Language）- 用来进行度量分析的DSL，类似于SQL，用于查询度量分析结果和警报。

界面(UI)

● RocketBot UI – SkyWalking 7.0.0 的默认web UI

● CLI – 命令行界面

这三个模块的交互流程：

3.SkyWalking 部署实战

• skywalking agent和业务系统绑定在一起，负责收集各种监控数据
• Skywalking oapservice是负责处理监控数据的，比如接受skywalking agent的监控数据，并存储在数据库中;接受skywalking webapp的前端请求，从数据库查询数据，并返回数据给前端。Skywalking oapservice通常以集群的形式存在。
• skywalking webapp，前端界面，用于展示数据。
• 用于存储监控数据的数据库，比如mysql、elasticsearch等。

启动成功后访问对应UI页面，页面地址为http://localhost:8080/

1.集成微服务

准备一个springboot程序，打成可执行jar包，写一个shell脚本，在启动项目的Shell脚本上，通过 -javaagent 参数进行配置SkyWalking Agent来跟踪微服务；

startup.sh脚本：

# SkyWalking Agent配置
export SW_AGENT_NAME=cpsc-aquaculture #Agent名字,一般使用`spring.application.name`
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #配置 Collector 地址。
export SW_AGENT_SPAN_LIMIT=2000 #配置链路的最大Span数量，默认为 300。
export JAVA_AGENT=-javaagent:/Users/daiwei/Desktop/soft/skywalking-agent/skywalking-agent.jar
java $JAVA_AGENT -jar cpsc-modules-aquaculture.jar #jar启动

注意微服务jar包的路径要放在startup.sh脚本平级的目录，不然会报找不到路径，如下图所示：

 集成成功后，页面如下：

2.集成多个微服务

一个微服务分别对应启动脚本如下图所示：

配置分别如下：

cpsc-system-startup.sh

# SkyWalking Agent配置
export SW_AGENT_NAME=cpsc-system #Agent名字,一般使用`spring.application.name`
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #配置 Collector 地址。
export SW_AGENT_SPAN_LIMIT=2000 #配置链路的最大Span数量，默认为 300。
export JAVA_AGENT=-javaagent:/Users/daiwei/Desktop/soft/skywalking-agent/skywalking-agent.jar
java $JAVA_AGENT -jar cpsc-modules-system.jar #jar启动

cpsc-aquaculture-startup.sh

# SkyWalking Agent配置
export SW_AGENT_NAME=cpsc-aquaculture #Agent名字,一般使用`spring.application.name`
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #配置 Collector 地址。
export SW_AGENT_SPAN_LIMIT=2000 #配置链路的最大Span数量，默认为 300。
export JAVA_AGENT=-javaagent:/Users/daiwei/Desktop/soft/skywalking-agent/skywalking-agent.jar
java $JAVA_AGENT -jar cpsc-modules-aquaculture.jar #jar启动

3.Skywalking集群部署

Skywalking集群是将skywalking oap作为一个服务注册到nacos上，只要skywalking oap服务没有全部宕机，保证有一个skywalking oap在运行，就能进行跟踪。

搭建一个skywalking oap集群需要：

（1）至少一个Nacos（也可以是nacos集群）

（2）至少一个ElasticSearch（也可以是es集群）

（3）至少2个skywalking oap服务；

（4）至少1个UI（UI也可以集群多个，用Nginx代理统一入口）

4.SkyWalking 可视化界面

1.SkyWalking中三个概念

服务(Service) ：表示对请求提供相同行为的一系列或一组工作负载，在使用Agent时，可以定义服务的名字；

服务实例(Service Instance) ：上述的一组工作负载中的每一个工作负载称为一个实例， 一个服务实例实际就是操作系统上的一个真实进程；

端点(Endpoint) ：对于特定服务所接收的请求路径, 如HTTP的URI路径和gRPC服务的类名 + 方法签名；

2.SkyWalking 链路执行情况

1.查看接口执行链路

图中显示了cpsc-aquaculture系统到cpsc-system系统整个调用过程和耗时情况。 

2.查看具体的sql

这样就可以知道依赖的服务执行了哪些sql 

3.SkyWalking查看系统依赖关系

4.自定义SkyWalking链路追踪

1.追踪接口的入参和反参

我们还可以为追踪链路增加其他额外的信息，比如记录参数和返回信息。实现方式：在方法上增加@Tag或者@Tags。

@Trace
@Tag(key = "list", value = "returnedObj")
public List<User> list(){
    return userMapper.list();
}

@Trace
@Tags({@Tag(key = "param", value = "arg[0]"),
        @Tag(key = "user", value = "returnedObj")})
public User getById(Integer id){
    return userMapper.getById(id);
}

SkyWalking的ui页面就可以看到接口的详细信息了。

5.Skywalking集成日志框架

 引入依赖

<!-- apm-toolkit-logback-1.x -->
<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.4.0</version>
</dependency>

添加logback-spring.xml文件，并配置 %tid 占位符

则在日志文件中就可以看到对应TID输出

 

参考文档

1.SkyWalking相关文档

 官网：Apache SkyWalking

下载：Downloads | Apache SkyWalking

Github：GitHub - apache/skywalking: APM, Application Performance Monitoring System

文档： https://skywalking.apache.org/docs/main/v8.4.0/readme/

中文文档： SkyWalking 文档中文版（社区提供）