前言

使用docker compose搭建elk,前提条件是要安装好docker 和docker-compose

一、安装docker

在Linux中安装Docker可以参考官方文档:https://docs.docker.com/install/linux/docker-ce/centos/,主要分为下面这几步:

1.卸载旧版本Docker(如果系统之前没安装过Docker,可以跳过):

yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

2.安装Docker所需要的包:

yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

3.设置稳定的仓库:

yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

4.安装最新版本docker引擎

yum install docker-ce docker-ce-cli containerd.io

5.启动docker

systemctl start docker

查看是否安装成功:docker -v
查看docker版本

二、安装Docker Compose

安装好Docker后,我们接着安装Docker Compose,官方安装教程 https://docs.docker.com/compose/install/,主要步骤为

1.获取Docker Compose的最新稳定版本

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

2.对二进制文件授予可执行权限

sudo chmod +x /usr/local/bin/docker-compose

3.创建link

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

查看是否安装成功:docker-compose -v
查看docker-compose版本

三.Docker Compose搭建ELK

在搭建ELK之前,我们需要做一些准备工作。

正如官方所说的那样 https://www.elastic.co/guide/en/elasticsearch/reference/current/vm-max-map-count.html,Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足,我们可以使用下面这条命令来增加内存:

sysctl -w vm.max_map_count=262144

创建Elasticsearch数据挂载路径(注意snowy是我项目的名称,所以统一放在下面):

mkdir -p /snowy/elasticsearch/data

对该路径授予777权限:

chmod 777 /snowy/elasticsearch/data 

创建Elasticsearch插件挂载路径

mkdir -p /snowy/elasticsearch/plugins

创建Logstash配置文件存储路径

mkdir -p /snowy/logstash

在该路径下创建logstash-snowy.conf配置文件(没有安装vim的话可以使用yum install vim命令安装):
vim /snowy/logstash/logstash-snowy.conf
内容如下:

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "snowy-logstash-%{+YYYY.MM.dd}"
  }
}

创建ELK Docker Compose文件存储路径:

mkdir -p /snowy/elk

在该目录下创建docker-compose.yml文件:

vim /snowy/elk/docker-compose.yml

内容如下:

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.13.2
    container_name: elasticsearch
    environment:
      - "cluster.name=elasticsearch"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /snowy/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /snowy/elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
  kibana:
    image: kibana:7.13.2
    container_name: kibana
    links:
      - elasticsearch:es
    depends_on:
      - elasticsearch
    environment:
      - "elasticsearch.hosts=http://es:9200"
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.13.2
    container_name: logstash
    volumes:
      - /snowy/logstash/logstash-snowy.conf:/usr/share/logstash/pipeline/logstash.conf
    depends_on:
      - elasticsearch
    links:
      - elasticsearch:es
    ports:
      - 4560:4560

切换到/snowy/elk目录下,使用如下命令启动:

docker-compose up -d

第一次启动的时候,Docker需要拉取ELK镜像,过程可能稍慢,耐心等待即可。成功启动后,观察容器运行情况(docker ps -a):
查看docker容器
如果实在太慢建议切换到国内镜像源
镜像源

使用浏览器访问http://192.168.81.131:5601便可以看到Kibana管理界面
kibana
项目整合修改微服务日志模块,引入依赖:
引入依赖

在logback-spring.xml里添加如下配置(此处是演示代码所以在本地环境上配置了logstash,建议生产环境才使用):

配置
打开kibana管理界面,找到如下图所示,创建Kinaba Index Patterns
创建Kinaba Index Patterns
在Index pattern里输入我们在logstash配置文件logstash-febs.conf里output.index指定的值snowy-logstash-*
创建index pattern
点击Next Step,在下拉框里选择@timestamp:最后完成即可,图不展示了。然后请求调用后台的接口,在Kibana里搜索这笔日志:
搜索日志

总结

此文根据febs-cloud的文档学习操作而写,收益良多,感谢。

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐