Kubernetes下SpringBoot应用日志解决方案（JSON日志&Loki）

应用容器化部署已经成为一个趋势，依托容器云自动调度平台（如k8s）能够快速实现应用的扩容和发布，本文简要介绍了在Kubernetes平台上，SpringBoot应用日志的一种解决方案。方案依托平台优势，优雅、简介、快速的实现应用日志的采集和分析。同时，对生产环境下日志的输出，详细介绍了生产环境下采用JSON格式输出日志配置全过程。

release dream

2393人浏览 · 2022-11-19 12:18:11

release dream · 2022-11-19 12:18:11 发布

应用容器化部署已经成为一个趋势，依托容器云自动调度平台（如k8s）能够快速实现应用的扩容和发布，本文简要介绍了在Kubernetes平台上，SpringBoot应用日志的一种解决方案。方案依托平台优势，优雅、简介、快速的实现应用日志的采集和分析。同时，对生产环境下日志的输出，详细介绍了生产环境下采用JSON格式输出日志配置全过程。

一、目标

依托Kubernetes平台日志采集管理能力（Loki + Promtail的云原生日志收集方案），将应用日志也纳入综合管理。
生产环境采用JSON输出简化日志解析，使得日志的后续处理、分析或查询变得方便高效，开发测试环境仍然扁平化输出
自定义JSON日志输出内容，微服务环境下日志包含链路信息。

二、应用日志架构设计

在这里插入图片描述

2.1 概要

本设计方案是在Kubernetes环境下，通过集成日志工具Loki+Promtail，使得容器云环境能够自动化采集集群内各Pod日志。Grafana作为可视化终端，通过链接Loki数据源，能够对采集的日志进行搜索和分析。其中：

Promtail: 日志收集工具，类比ELK中的Logstash
Loki: 日志聚合工具，类似ELK中Elasticsearch
Grafana：可视化工具，类比ELK中Kibana

应用通过输出日志到控制台，Promtail实时采集应用输出到控制台的日志，并发送至Loki。

这种方案

2.2 方案优势

轻量化

与ELK相比，大大减少了硬件资源的使用。适合中小集群监控。

在这里插入图片描述

与k8s原生结合

日志搜索可以通过k8s中资源label标签进行筛选。

三、实施

3.1 前置条件

3.1.1 环境准备

Kubernetes集群环境
Loki+Promtail+Grafana已集成到Kubernetes，并且能够采集到Pod日志
Spring Boot应用已部署到Kubernetes

3.2 日志JSON处理

**Logstash Logback Encoder **开源项目提供了Logback JSON encoder 和 appenders，这个类库最新详细用法参考项目文档介绍

Format	Protocol	Function	LoggingEvent	AccessEvent
Logstash JSON	Syslog/UDP	Appender	`LogstashUdpSocketAppender`	`LogstashAccessUdpSocketAppender`
Logstash JSON	TCP	Appender	`LogstashTcpSocketAppender`	`LogstashAccessTcpSocketAppender`
any	any	Appender	`LoggingEventAsyncDisruptorAppender`	`AccessEventAsyncDisruptorAppender`
Logstash JSON	any	Encoder	`LogstashEncoder`	`LogstashAccessEncoder`
Logstash JSON	any	Layout	`LogstashLayout`	`LogstashAccessLayout`
General JSON	any	Encoder	`LoggingEventCompositeJsonEncoder`	`AccessEventCompositeJsonEncoder`
General JSON	any	Layout	`LoggingEventCompositeJsonLayout`	`AccessEventCompositeJsonLayout`

根据文档说明，我们使用 LoggingEventCompositeJsonEncoder 来自定义Json Encoder。下面开始实战配置。

集成maven依赖

来源文档 https://github.com/logfellow/logstash-logback-encoder#including-it-in-your-project

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.2</version>
</dependency>
<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-classic</artifactId>
</dependency>
<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-access</artifactId>
</dependency>
<dependency>
    <groupId>ch.qos.logback</groupId>
    <artifactId>logback-core</artifactId>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
</dependency>

配置logback

在资源文件夹中创建logback-spring.xml文件,默认情况下将所有日志从控制台输出。

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="5 seconds">
    <springProperty scope="context" name="appName" source="spring.application.name" defaultValue="unknown" />

    <!-- ConsoleAppender：把日志输出到控制台 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <!--关键输出配置到这里-->
            ...
        </encoder>
    </appender>

    <!-- 控制台输出日志级别 -->
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
    </root>
</configuration>

自定义LoggingEventCompositeJsonEncoder

配置说明：https://github.com/logfellow/logstash-logback-encoder#composite-encoderlayout

<encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
    <providers>
        <timestamp>
            <timeZone>UTC+8</timeZone>
        </timestamp>
        <pattern>
            <omitEmptyFields>true</omitEmptyFields>
            <pattern>
                {
                    "timestamp": "%date{ISO8601}",
                    "service": "${appName}",
                    "level": "%level",
                    "pid": "${PID:-}",
                    "thread": "%thread",
                    "class": "%logger{60}",
                    "method": "%method",
                    "line": "%line",
                    "message": "#tryJson{%message}"
                }
            </pattern>
        </pattern>
        <stackTrace>
            <throwableConverter class="net.logstash.logback.stacktrace.ShortenedThrowableConverter">
                <maxDepthPerThrowable>100</maxDepthPerThrowable>
                <maxLength>20480</maxLength>
                <rootCauseFirst>true</rootCauseFirst>
            </throwableConverter>
        </stackTrace>
    </providers>
</encoder>

示例说明：

omitEmptyFields：在日志中省略空的字符，详细官方配置说明
pattern：json日志输出模版，详细官方配置说明
stackTrace：异常堆栈信息输出配置，详细官方配置说明
#tryJson{%message}: 对于message可以进行json转译，则输出json，否则该字段输出文本串，详细官方配置说明

配置完成后，从控制台打印的日志

在这里插入图片描述

3.3 自定义日志信息

除了默认的日志输出内容外，在web应用场景下，我们希望将用户请求时来源IP和请求编号记录到日志中。

Mapped Diagnostic Context (MDC)
是Slf4j提供的一个API，主要功能就是在多线程环境下进行日志调用链路跟踪，使用起来也简单。

3.3.1 实现思路

通过在SpringBoot中定义拦截器，获取web请求的IP,初始化请求编号
在logback中定义日志输出，打印mdc附带的信息

3.3.2 代码实现

拦截器配置MDC

在Spring中定义拦截器的过程较为简单

import lombok.extern.slf4j.Slf4j;
import org.slf4j.MDC;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.HandlerInterceptor;
import org.springframework.web.servlet.ModelAndView;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.util.UUID;

@Slf4j
@Component
public class LogInterceptor implements HandlerInterceptor {

    private final static String REQUEST_ID = "requestId";

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        String xForwardedForHeader = request.getHeader("X-Forwarded-For");
        String remoteIp = request.getRemoteAddr();
        String uuid = UUID.randomUUID().toString();
        log.info("put requestId ({}) to logger", uuid);
        log.info("request id:{}, client ip:{}, X-Forwarded-For:{}", uuid, remoteIp, xForwardedForHeader);
        MDC.put(REQUEST_ID, uuid);
        MDC.put("remoteIp", remoteIp);
        return true;
    }

    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {
        String uuid = MDC.get(REQUEST_ID);
        log.info("remove requestId ({}) from logger", uuid);
        MDC.remove(REQUEST_ID);
        HandlerInterceptor.super.postHandle(request, response, handler, modelAndView);
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
        HandlerInterceptor.super.afterCompletion(request, response, handler, ex);
    }
}

在preHandle方法中，获取remoteIp并放入MDC中，同时初始化了请求ID，这里使用的是uuid。

注册拦截器到Spring

SpringMvc注册拦截器，不多解释，主要代码如下：

@Configuration
@RequiredArgsConstructor
public class WebMvcConfig implements WebMvcConfigurer {
    private final LogInterceptor logInterceptor;
    
    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(logInterceptor);
    }
}

配置MDC输出到日志

修改logback-spring.xml配置输出模版, 通过添加输出项"requestId": "%mdc{requestId}" 和 "remoteIP": "%mdc{remoteIp}"到模版

<pattern>
    {
        "timestamp": "%date{ISO8601}",
        ...
        "requestId": "%mdc{requestId}",
        "remoteIP": "%mdc{remoteIp}",
        ...
        "message": "#tryJson{%message}"
    }
</pattern>

重新部署应用，观察日志输出：

在这里插入图片描述

可以看到，日志输出中，已经包含了我们在mdc中自定义的属性。

3.4 日志多环境配置

使用多环境配置，在当前解决方案下，主要用来实现，生产环境日志输出JSON格式，开发环境日志输出采用默认的行日志，多环境配置比较简单，通过定义springProfile标签，name属性为环境名称，配置如下：

<springProfile name="default">
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
    </root>
</springProfile>
<springProfile name="kubernetes">
    <root level="INFO">
        <appender-ref ref="PROD-STDOUT"/>
    </root>
</springProfile>

3.5 链路信息输出

在分布式环境下，应用之间的调用链路信息，我们希望也集成到JSON日志输出中，例如是使用Spring-Cloud-Sleuth,需要新增额外的链路信息到模版中，需要注意的是在Sleuth 3.0中,属性名称已经发生了一些变化。参考文档： https://github.com/spring-cloud/spring-cloud-sleuth/wiki/Spring-Cloud-Sleuth-3.0-Migration-Guide#x-b3–mdc-fields-names-are-no-longer-set

3.6 日志采集监控

在这里插入图片描述

上图是Grafana集成Loki后日志查询的搜索页面，支持JSON格式化输出。

3.7 日志搜索与分析

LogQL是Grafana Loki的promql启发的查询语言。https://grafana.com/docs/loki/latest/logql/

它提供了2种查询能力：

查询返回的日志行
对查询结果进行统计计算

四、完整配置

本方案 logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="5 seconds">
    <springProperty scope="context" name="appName" source="spring.application.name" defaultValue="unknown"/>

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %green(%-5level) %blue(%property{PID}) --- [%thread] %cyan(%-50logger{50}) : %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="PROD-STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC+8</timeZone>
                </timestamp>
                <pattern>
                    <omitEmptyFields>true</omitEmptyFields>
                    <pattern>
                        {
                            "timestamp": "%date{ISO8601}",
                            "requestId": "%mdc{requestId}",
                            "remoteIP": "%mdc{remoteIp}",
                            "service": "${appName}",
                            "level": "%level",
                            "pid": "${PID:-}",
                            "trace": "%X{X-B3-TraceId:-}",
                            "span": "%X{X-B3-SpanId:-}",
                            "parent": "%X{X-B3-ParentSpanId:-}",
                            "thread": "%thread",
                            "class": "%logger{60}",
                            "method": "%method",
                            "line": "%line",
                            "message": "#tryJson{%message}"
                        }
                    </pattern>
                </pattern>
                <stackTrace>
                    <throwableConverter class="net.logstash.logback.stacktrace.ShortenedThrowableConverter">
                        <maxDepthPerThrowable>100</maxDepthPerThrowable>
                        <maxLength>20480</maxLength>
                        <rootCauseFirst>true</rootCauseFirst>
                    </throwableConverter>
                </stackTrace>
            </providers>
        </encoder>
    </appender>

    <springProfile name="default">
        <root level="INFO">
            <appender-ref ref="STDOUT"/>
        </root>
    </springProfile>
    <springProfile name="kubernetes">
        <root level="INFO">
            <appender-ref ref="PROD-STDOUT"/>
        </root>
    </springProfile>

</configuration>

参考

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这