【深入理解SpringCloud微服务】日志收集相关解决方案介绍与对比

黄俊懿

234人浏览 · 2026-07-19 15:14:53

黄俊懿 · 2026-07-19 15:14:53 发布

日志收集相关解决方案简单介绍

ELKB
EFK
- EFK 与 ELK对比
Skywalking
Flume
- Flume 与 Logstash 比较

目前市面上日志收集的解决方案常见的有ELKB、EFK，Skywalking也具有日志收集的功能，还有大数据技术栈中的Flume也可以用于做为日志采集的工具。

ELKB

ELKB是最常见的日志收集方案，ELKB是四个组件的缩写，分别是ElasticSearch、Logstash、Kibana、filebeat四个组件。

在这里插入图片描述

首先通过filebeat收集各服务的日志，输出到Logstash，Logstash对filebeat收集到的日志信息进行过滤和解析等预处理，然后将处理过后的日志信息存入ES，然后我们就可以通过Kibana查询到存储在ES上的日志信息。

ElasticSearch

在这里插入图片描述

ElasticSearch是一个分布式搜索引擎，利用倒排索引实现近实时搜索，底层以Json的格式存储数据。

由于ElasticSearch底层以Json格式存储数据，Logstash正好支持将非结构化的数据转换程结构化的Json格式数据，因此Logstash搭配ES就可以做到将非结构化的数据转换成Json格式之后存入ES中。

在这里插入图片描述

Logstash

Logstash是一个分布式日志收集框架，在ELK里面，Logstash相当于是一个日志收集传送和转换的管道（Pipeline）。

在这里插入图片描述

Logstash主要包含三⼤模块：

Inputs：数据的输入
Filters：过滤器，负责对输入的数据进行格式化处理
Outputs：数据的输出

以上三模块，在Logstash的配置文件中都有体现：

input {
	beats { // 从filebeat收集日志数据
		port => 5044 // 通过5044端口接收filebeat的数据
	}
}
filter {
	grok {
		match => { "message" => "%{COMBINEDAPACHELOG}"} // 将日志数据进行格式化处理，转换程json格式
	}
}

output {
	elasticsearch { // 输出到es
		hosts => ["http://localhost:9200"] // es的地址
		index => nginx-log // 存储到nginx-log这个索引
		user => "elastic" // es账号
		password => "123456" // es密码
	}
}

配置好Logstash的配置文件后，启动时指定该文件即可。

filebeat

Beats是一个由Elastic公司开发的一系列轻量级数据 shippers（数据发送器）的集合，它们设计用于从各种来源收集数据，并将其发送到中央存储或分析系统，通常与Elasticsearch和Kibana一起作为Elastic Stack（以前称为ELK Stack）的一部分使用。

在这里插入图片描述

Filebeat是Beats家族中的一员，filebeat是一个轻量级日志收集器，而Logstash则比较重，因此要先通过filebeat进行日志收集，然后输送给Logstash进行后续处理。

在这里插入图片描述

filebeat下载解压好后，我们修改filebeat.yml配置文件：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/nginx/access.log # 替换为你的Nginx访问日志路径
       - /var/log/nginx/error.log  # 替换为你的Nginx错误日志路径

   output.logstash:
     hosts: ["logstash_server:5044"] # 替换为Logstash服务器的IP和监听端口