Docker Compose搭建ELK
Docker Compose搭建ELK前言一、安装docker1.卸载旧版本Docker(如果系统之前没安装过Docker,可以跳过):2.安装Docker所需要的包:3.设置稳定的仓库:4.安装最新版本docker引擎5.启动docker二、安装Docker Compose1.获取Docker Compose的最新稳定版本2.对二进制文件授予可执行权限3.创建link三.Docker Compo
Docker Compose搭建ELK
前言
使用docker compose搭建elk,前提条件是要安装好docker 和docker-compose
一、安装docker
在Linux中安装Docker可以参考官方文档:https://docs.docker.com/install/linux/docker-ce/centos/,主要分为下面这几步:
1.卸载旧版本Docker(如果系统之前没安装过Docker,可以跳过):
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
2.安装Docker所需要的包:
yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
3.设置稳定的仓库:
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
4.安装最新版本docker引擎
yum install docker-ce docker-ce-cli containerd.io
5.启动docker
systemctl start docker
查看是否安装成功:docker -v
二、安装Docker Compose
安装好Docker后,我们接着安装Docker Compose,官方安装教程 https://docs.docker.com/compose/install/,主要步骤为
1.获取Docker Compose的最新稳定版本
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
2.对二进制文件授予可执行权限
sudo chmod +x /usr/local/bin/docker-compose
3.创建link
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
查看是否安装成功:docker-compose -v
三.Docker Compose搭建ELK
在搭建ELK之前,我们需要做一些准备工作。
正如官方所说的那样 https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html,Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足,我们可以使用下面这条命令来增加内存:
sysctl -w vm.max_map_count=262144
创建Elasticsearch数据挂载路径(注意snowy是我项目的名称,所以统一放在下面):
mkdir -p /snowy/elasticsearch/data
对该路径授予777权限:
chmod 777 /snowy/elasticsearch/data
创建Elasticsearch插件挂载路径
mkdir -p /snowy/elasticsearch/plugins
创建Logstash配置文件存储路径
mkdir -p /snowy/logstash
在该路径下创建logstash-snowy.conf配置文件(没有安装vim的话可以使用yum install vim命令安装):
vim /snowy/logstash/logstash-snowy.conf
内容如下:
input {
tcp {
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json_lines
}
}
output {
elasticsearch {
hosts => "es:9200"
index => "snowy-logstash-%{+YYYY.MM.dd}"
}
}
创建ELK Docker Compose文件存储路径:
mkdir -p /snowy/elk
在该目录下创建docker-compose.yml文件:
vim /snowy/elk/docker-compose.yml
内容如下:
version: '3'
services:
elasticsearch:
image: elasticsearch:7.13.2
container_name: elasticsearch
environment:
- "cluster.name=elasticsearch"
- "discovery.type=single-node"
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
- /snowy/elasticsearch/plugins:/usr/share/elasticsearch/plugins
- /snowy/elasticsearch/data:/usr/share/elasticsearch/data
ports:
- 9200:9200
kibana:
image: kibana:7.13.2
container_name: kibana
links:
- elasticsearch:es
depends_on:
- elasticsearch
environment:
- "elasticsearch.hosts=http://es:9200"
ports:
- 5601:5601
logstash:
image: logstash:7.13.2
container_name: logstash
volumes:
- /snowy/logstash/logstash-snowy.conf:/usr/share/logstash/pipeline/logstash.conf
depends_on:
- elasticsearch
links:
- elasticsearch:es
ports:
- 4560:4560
切换到/snowy/elk目录下,使用如下命令启动:
docker-compose up -d
第一次启动的时候,Docker需要拉取ELK镜像,过程可能稍慢,耐心等待即可。成功启动后,观察容器运行情况(docker ps -a):
如果实在太慢建议切换到国内镜像源
使用浏览器访问http://192.168.81.131:5601便可以看到Kibana管理界面
项目整合修改微服务日志模块,引入依赖:
在logback-spring.xml里添加如下配置(此处是演示代码所以在本地环境上配置了logstash,建议生产环境才使用):
打开kibana管理界面,找到如下图所示,创建Kinaba Index Patterns
在Index pattern里输入我们在logstash配置文件logstash-febs.conf里output.index指定的值snowy-logstash-*
点击Next Step,在下拉框里选择@timestamp:最后完成即可,图不展示了。然后请求调用后台的接口,在Kibana里搜索这笔日志:
总结
此文根据febs-cloud的文档学习操作而写,收益良多,感谢。
更多推荐
所有评论(0)