SpringBoot应用整合并使用Docker安装ELK实现日志收集

零、docker 和 docker-compose 环境略一、使用Docker Compose 搭建ELK环境可以参考文章 SpringBoot应用整合并使用Docker安装ELK实现日志收集这种方式就是参考他的。1.1、拉去elk 镜像根据项目依赖的版本pull对应的版本，注意 ELK版本必须完全一致（建议一致）docker pull elasticsearch:7.12.1docker pu

铛铛响

3887人浏览 · 2022-04-29 16:41:07

铛铛响 · 2022-04-29 16:41:07 发布

零、docker 和 docker-compose 环境

略

本文内容主要围绕以下两点：
1、搭建的两种方式
2、自己整合一下以及遇到的问题，和多个项目的日志配置，以及日志的过期配置，还有线上环境的一整套流程。

一、使用Docker Compose 搭建ELK环境

可以参考文章 SpringBoot应用整合并使用Docker安装ELK实现日志收集这种方式就是参考他的。

1.1、拉去elk 镜像

根据项目依赖的版本pull对应的版本，注意 ELK版本必须完全一致（建议一致）

docker pull elasticsearch:7.12.1
docker pull logstash:7.12.1
docker pull kibana:7.12.1

1.2、创建存放elk数据挂载位置

mkdir /opt/elk/logstash
mkdir /opt/elk/es
mkdir /opt/elk/kibana

在这里插入图片描述

1.3、创建logstash的数据转化格式配置

cd /opt/elk/logstash
vim logstash-springboot.conf

1、内容如下，注意这里的applicationName 就是后面我们可以在spring-boot的appender中可以自定义的参数，传到这里来，这个我在之前的原生elk搭建文章中有说过。原生elk搭建和springBoot使用

2、注意TCP的那个prot 4560，我们可以配置多个，而且我们在 logback-spring.xml文件中也可以指定，你可以看到参考的这个文章，里面有很多，不同的级别分到不同的端口中。

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "%{[applicationName]}-%{+YYYY.MM.dd}"
  }
}

在这里插入图片描述

1.4、使用docker-compose.yml 脚本启动ELK服务

1、创建docker-compose启动文件

cd /opt/elk
vim docker-compose.yml

2、内容如下，具体内容注释的很清楚了，就不再阐述了

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.12.1
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
    volumes:
      - /opt/elk/es/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /opt/elk/es/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
      - 9300:9300
  kibana:
    image: kibana:7.12.1
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.12.1
    container_name: logstash
    volumes:
      - /opt/elk/logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560

在这里插入图片描述
3、执行docker-compose命令运行elk，需要在docker-compose.yml文件目录下执行，默认找的就是这个文件名

docker-compose up -d

在这里插入图片描述

4、启动完成后在logstash中安装json_lines插件，因为我们在2560端口使用的使用tcp，并配置了json_lines插件，所以需要安装一下

# 进入logstash容器
docker exec -it logstash /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启logstash服务
docker restart logstash

5、访问 http://192.168.160.50:5601 kibana 页面。

在这里插入图片描述

1.4、将spring-boot 日志传输过去

1、pom文件

<!-- elk 日志收集开始 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <!--集成logstash-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>
        <!-- elk 日志收集结束 -->

2、我们可以在配置文件中自定义属性，在logback-spring.xml 文件中读取
在这里插入图片描述
3、配置es 地址

4、logback-spring.xml 文件，注意 destination ${LOG_STASH_HOST}:4560 destination ，这个里面是写了向4560的端口发的，和前面的logstahs.yml中一一对应。我们可以指定多个，看我们前面说的那个参考文章就有，他配置了很多个。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <!--引用默认日志配置-->
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <!--使用默认的控制台日志输出实现  其实和我们下面定义的CONSOLE 的appender 是一样的，只不过他没有设置编码为utf8  -->
    <!--    <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>-->
    <!--应用名称-->
    <springProperty scope="context" name="APP_NAME" source="spring.application.name" defaultValue="asurplus"/>
    <!--日志文件保存路径-->
    <!--    <property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>-->
    <!--LogStash访问host-->
    <springProperty name="LOG_STASH_HOST" scope="context" source="logstash.host" defaultValue="192.168.160.50/"/>
    <springProperty name="LOGSTASH_ENV" scope="context" source="logstash.env" defaultValue="pro"/>


    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>


    <!-- 所有级别 日志输出到 LogStash -->
    <appender name="LOG_STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>${LOG_STASH_HOST}:4560</destination>
        <!-- LoggingEventCompositeJsonEncoder 不支持 customFields 属性-->
        <!--        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">-->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <providers>
                <timestamp>
                    <timeZone>Asia/Shanghai</timeZone>
                </timestamp>
            </providers>
            <customFields>{"applicationName":"${APP_NAME}-${LOGSTASH_ENV}"}</customFields>
        </encoder>
    </appender>

    <!--控制框架输出日志-->
    <logger name="org.slf4j" level="INFO"/>
    <logger name="io.swagger" level="INFO"/>
    <logger name="org.springframework" level="INFO"/>
    <logger name="org.hibernate.validator" level="INFO"/>

    <springProfile name="dev">
        <root level="INFO">
            <appender-ref ref="CONSOLE"/>
            <appender-ref ref="LOG_STASH"/>
        </root>
    </springProfile>

    <springProfile name="test">
        <root level="INFO">
            <appender-ref ref="CONSOLE"/>
            <appender-ref ref="LOG_STASH"/>
        </root>
    </springProfile>


    <springProfile name="pro">
        <root level="INFO">
            <appender-ref ref="CONSOLE"/>
            <appender-ref ref="LOG_STASH"/>
        </root>
    </springProfile>
</configuration>

二、使用github docker开源的方式搭建ELK环境（更全-推荐）

可以参考：使用 Docker 搭建 ELK 环境，里面可以借鉴不少，但是他的不是 7.17.3

当然我非常建议你看下 github的官方文档，说的很详细。 elk7.X

2.1、安装

0、如果你前面电脑用这种方式安装过这个elk，可能使用的他二点7.16或者其他版本的，一定要使用以下命令，清除一下，不然你就发现还有上次安装的遗留痕迹，最明显的就是密码居然是上次的，我这次在写博客从新安装的时候，就发现这个问题。所以官方文档还是一定要看的

docker-compose down -v

在这里插入图片描述

1、首先到github下载 elk7.X ，我这边安装的是7.X中最新的版本 7.17.3，当然也是可以修改版本的。在 .env 文件中。
在这里插入图片描述
2、修改镜像内存，因为默认初始化内存是 -Xmx256m -Xms1024m，实在太小了，启动起来很慢，而且后续如果我们需要在里面安装一些其他的插件，这个内存根本就不够，会抛出内存不足的异常，所以我们这里提前把内存调整大一些。
在这里插入图片描述

3、上传到Linux中，我将所有的内容都放到 /opt/elk 目录下
在这里插入图片描述

4、修改文件 .env 默认的密码，我们这样后续我们就不用重置密码了，当然你也可以不做这一步，后续按照官方的方式去重新随机设置密码，后面也有说。我这里直接修改.env 文件的默认初始密码换成 MdV12e5DLpnHq0X3
在这里插入图片描述

4、启动，在docker-compose.yml 目录下运行，因为我这个之前安装过一次，所以相关镜像都存在，所以这里没有显示下载镜像的步骤，如果你是第一次，就会有下载镜像的过程。
在这里插入图片描述

5、为了验证，我们可以使用浏览器或者 curl 等工具访问机器地址加端口号 9200，并使用默认用户名 elastic 和你前面设置的密码（当然如果你这里没改那就是 changeme）来访问 Elasticsearch HTTP 端口，如果一切正常，你将看到类似下面的结果
在这里插入图片描述

2.2、使用 Kibana 控制台

1、启动之后，我们使用浏览器访问服务器IP+端口5601，打开 kibana 控制台

在这里插入图片描述

2、关闭付费组件，打开设置界面，选择 Elasticsearch 模块中的 License Management ，可以看到默认软件会启动为期一个月的高级功能试用，我们选择“Revert to Basic license”，选择回退到基础版本，可以看到整个界面都简洁了不少，至此如果不付费的话，就可以安心合法的使用软件了。
在这里插入图片描述
当然，你也可以在 elasticsearch.yml 配置文件中的 xpack.license.self_generated.type 修改为 basic 来禁用 X-Pack 相关功能。

xpack.license.self_generated.type: basic

3、用户角色管理，在这里我们就可以修改用户，赋予权限，以及创建角色等等。
在这里插入图片描述

2.3、项目springBoot 日志集成进去

2.3.1、修改logstash的数据转化格式配置

1、当然这个地方你也可以不修改，看自己的选择，如果不修改，使用默认的，最后的索引如下，就是默认以logstahs开头加上日期的格式，然后你可以直接跳到 springBoot 日志传输这一节，数据也是可以看到的。当然我强烈建议你修改以下，在后面的内容中我有提及。
在这里插入图片描述

在这里插入图片描述

2.3.3、springBoot 日志传输

1、具体的 logback-spring.xml 文件内容和上面的一样(此时那个自定义属性customFields就没有用了)，我就不再多说了。但是后面我发现一个问题，就是开启认证之后，我们传输数据也需要认证。这个是我看logstash的日志发现的，说 logstash_internal 这个用户没有对自动创建的索引写入的权限。因为内部默认使用的是这个用户，于是我当github官方下看了下，有人有遇到这个问题，并提出了，也解决了。
在这里插入图片描述
2、github 的issues 地址： logstash_internal user unauthorized on custom indices #687，快速临时解决方案：在堆栈管理/用户中的 ELK 中，将“elstic”用户的角色分配给“logstash_internal”用户，因为elastic 用户用的角色是超级管理员。我们给 logstash_internal 这个用户超级管理员的角色就可以暂时解决了.

在这里插入图片描述
3、登录我们的kibana

4、那这个时候，我们链接elastic也是需要账号密码的，就是正常的springBoot链接elastic的方式配置就好。

5、pom文件

<!-- elk 日志收集开始 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <!--集成logstash-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>
        <!-- elk 日志收集结束 -->

2.4、其他步骤

2.4.1、修改 logstash.conf 文件

1、如果需要改的话，则需要修改对应文件，而文件挂载在/opt/elk/docker-elk-release-7.x/logstash/pipeline目录下
在这里插入图片描述

2、修改之后内容如下，如果你使用了自定义属性，这个插件 json_lines 是要的，否则后面的 %{[applicationName]} 是解析不出来的。

input {
        beats {
                port => 5044
        }

        tcp {
                port => 5000
                codec => json_lines
        }
}

## Add your filters / logstash plugins configuration here

output {
        elasticsearch {
                hosts => "elasticsearch:9200"
                user => "logstash_internal"
                password => "${LOGSTASH_INTERNAL_PASSWORD}"
                index => "jt-%{[applicationName]}-%{+YYYY.MM.dd}"
        }
}

2.4.2、安装json_lines插件

1、在logstash中安装json_lines插件，如果我使用了tcp，并配置了json_lines插件，所以需要安装一下，安装时间较长，可以稍微等下。

# 进入logstash容器
docker exec -it docker-elk-release-7x-logstash-1 /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 回到docker-compose.yml 目录下后 重启服务
cd  /opt/elk/docker-elk-release-7.x
docker-compose restart

在这里插入图片描述

2、但是如果你安装的不是那么顺利，比如报错 message: certificate verify failed，那么你可以关闭这个认证，参考文章： logstash-plugin install报错message: certificate verify failed

进入到logstash内部后，进入目录 /opt/logstash/lib/pluginmanager，修改上述文章所说的文件内容即可
但是这个容器内部没有vi和vim ，你可以使用对应的解决方案，或者将文件copy出来，再替换进去

# 将install.rb 文件copy 至 opt 目录下
docker cp docker-elk-release-7x-logstash-1:/opt/logstash/lib/pluginmanager/install.rb  /opt
# 将修改后的 install.rb 文件copy 上传至docker内部中
docker cp /opt/install.rb  docker-elk-release-7x-logstash-1:/opt/logstash/lib/pluginmanager/

2.4.3、安装json_lines插件的好处

下面我用两张图来说明一下：
在这里插入图片描述

2.4.4、数据挂载的位置

1、大家可能都已经习惯了直接挂载位置的方式，但是其实还有一种方式，就是使用docker创建挂载卷，然后，在镜像中使用，docker-elk-release-7.x 中两种都使用了，配置文件是直接挂载的具体目录，数据则是使用的挂载卷，大家可以参考
docker-compose 中volumes参数说明这篇文章，其实这个和docker-compose 没有太大关系，因为这个本身就是docker自身的功能。

2、下面我展示一下elasticsearch的挂载数据位置。如图可以看到具体的数据位置在 /var/lib/docker/volumes/docker-elk-release-7x_elasticsearch/_data 目录下。在这里插入图片描述

三、日志数据的保存，到期自动删除

无论你使用哪一种方式安装使用，但是日志还是需要定期删除的，不然存储会越来越大。这里参考的文章是 Kibana7.9.2设置elasticsearch索引过期时间，到期自动删除，我这里主要说些7.17.3遇到的问题。

在这里插入图片描述

向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

云原生

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

云原生

所有评论(0)

查看更多评论

铛铛响

@qq_38263083

已为社区贡献2条内容