ELK 初探

ELK实时日志分析平台 初次尝试。

平台

CentOS 7
Oracle JDK 8
Kibana 4.5.2
Elaticsearch 2.3.4
logstash 2.3.4
filebeat 1.2.3
查看version command： filebeat --version

系统架构图

这里写图片描述

软件的安装

采用yum的安装模式。首先需要添加对应的repo文件。 对应的详细的安装方法可以参考在线文档， 这里以logstash为例。

logstash 安装

  • Download and install the public signing key
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
  • 添加Repo到目录/etc/yum.repos.d/， 比如：logstash.repo
[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
  • 安装
yum install logstash
  • 随系统自动启动
sudo chkconfig --add filebeat

其他软件的repositories

filebeat

[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1

elasticsearch 官方介绍

[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=https://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

kibana 在线文档

[kibana-4.5]
name=Kibana repository for 4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

查看服务状态

servie logstash status

查看服务文件路径

rpm -ql logstash

FileBeat 使用

filebeat 安装后的配置文件存放于：/etc/filebeat/下
修改配置文件filebeat.yml
1， 修改文件的路径：比如：/home/osboxes/app.log

filebeat:
  prospectors:
    -
      paths:
        - "/home/osboxes/app.log"

2， 修改输出， 默认是直接输出到Elasticsearch，我们修改输出到logstash
只需要打开对应的注释即可，将elasticsearch相关注释掉， 打开logstash的注释。

output:
  logstash:
    hosts: ["127.0.0.1:5044"]

    # Optional load balance the events between the Logstash hosts
    #loadbalance: true

filebeat.yml 已经配置了多个output选项，我们只需要打开注解。 这里可以做个小的测试。 修改配置后可运行命令验证：filebeat -configtest -e. filebeat只能配置一个output项，修改配置后需要重启
1，找到Console output，打开注解

##Console output
   console:
    # Pretty print json event
    pretty: true

2， 停止filebeat服务 sudo service filebeat stop，手动启动filebeat来方便我们观察console输出sudo filebeat -e -c /etc/filebeat/filebeat.yml。(On windows: filebeat.exe -e -c filebeat.yml)
3， 新开窗口输出信息至文件/var/log/app.log

echo "2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}" >> app.log

4，切换至filebeat的启动窗口可以看到如下的输出。

[osboxes@osboxes logstash]$ sudo filebeat -e -c /etc/filebeat/filebeat.yml
{
  "@timestamp": "2016-07-11T13:44:43.926Z",
  "beat": {
    "hostname": "osboxes",
    "name": "osboxes"
  },
  "count": 1,
  "fields": null,
  "input_type": "log",
  "message": "2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}",
  "offset": 130,
  "source": "/home/osboxes/app.log",
  "type": "log"
}

LogStash 配置

上面的小测做完后，将filebeat的配置改回输出到logstash。

连通filebeat和logstash

1， 添加logstash.conf 文件在/etc/logstash/conf.d/logstash.conf

input {
  beats {
    port => 5044
  }
}

output {
  stdout{}
}

修改后可以通过命令验证配置是否正确：

sudo /opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf --configtest

2, 启动logstash
采用命令启动方便从console观察输出。sudo /opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf如果采用service的启动方式，需要去/var/log/logstash/logstash.stdout 查看log
3，启动filebeat 然后向文件app.log 写入log

echo "2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}" >> app.log

4，切换至logstash窗口， 可以观察到一下输出，证明filebeat已经可以成功输出到logstash

[osboxes@osboxes bin]$ sudo ./logstash -f /etc/logstash/conf.d/logstash.conf 
Settings: Default pipeline workers: 1
Pipeline main started
2016-07-12T05:57:46.877Z osboxes 2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}

使用Grok Filter Plugin解析日志 （spring boot 的默认日志格式）

1， 修改logstash.conf 添加filter，重启logstash

input {
  beats {
    port => 5044
  }
}
filter {
  #If log line contains tab character followed by 'at' then we will tag that entry as stacktrace
  if [message] =~ "\tat" {
    grok {
      match => ["message", "^(\tat)"]
      add_tag => ["stacktrace"]
    }
  }

  #Grokking Spring Boot's default log format
  grok {
    match => [ "message",
               "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{TIME})  %{LOGLEVEL:level} %{NUMBER:pid} --- \[(?<thread>[A-Za-z0-9-]+)\] (?<class>[A-Za-z0-9.#_]+)\s*:\s+(?<logmessage>.*)",
               "message",
               "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{TIME})  %{LOGLEVEL:level} %{NUMBER:pid} --- .+? :\s+(?<logmessage>.*)"
             ]
  }

  #Parsing out timestamps which are in timestamp field thanks to previous grok section
  date {
    match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss.SSS" ]
  }
}
output {
  stdout{
   codec => rubydebug
  }

2，写入log到文件app.log

echo "2016-06-29 17:14:09.477  INFO 6244 --- [main] faultConfiguringBeanFactoryPostProcessor : No bean named 'errorChannel' has been explicitly defined. Therefore, a default PublishSubscribeChannel will be created." >> app.log

3， 切换logstash查看输出

{
       "message" => "2016-06-29 17:14:09.477  INFO 6244 --- [main] faultConfiguringBeanFactoryPostProcessor : No bean named 'errorChannel' has been explicitly defined. Therefore, a default PublishSubscribeChannel will be created.",
      "@version" => "1",
    "@timestamp" => "2016-06-29T16:14:09.477Z",
         "count" => 1,
        "fields" => nil,
        "source" => "/home/osboxes/app.log",
        "offset" => 987,
          "type" => "log",
    "input_type" => "log",
          "beat" => {
        "hostname" => "osboxes",
            "name" => "osboxes"
    },
          "host" => "osboxes",
          "tags" => [
        [0] "beats_input_codec_plain_applied"
    ],
     "timestamp" => "2016-06-29 17:14:09.477",
         "level" => "INFO",
           "pid" => "6244",
        "thread" => "main",
         "class" => "faultConfiguringBeanFactoryPostProcessor",
    "logmessage" => "No bean named 'errorChannel' has been explicitly defined. Therefore, a default PublishSubscribeChannel will be created."
}

至此，完成了初步的日志的解析，日志别解析至对应的fields中。 接下来将这些数据推送至Elasticsearch进行索引。

修改logstash配置，输出到elasticsearch

修改配置文件的output。 

output {
    elasticsearch {
    }
}

用这样的结构，Logstash使用http协议连接到Elasticsearch。上面的例子假设Logstash和Elasticsearch运行在同一个机器上。您可以使用主机配置hosts => "es-machine:9092指定远程Elasticsearch实例。

查看结果

一次启动elasticsearch，kibana，logstash，filebeat。 （filebeat已启动的话，无需重启）

安装Sense

进入/opt/kibana/ 运行：$sudo ./bin/kibana plugin --install elastic/sense
You should now be able to access Sense with a web browser on http://localhost:5601/app/sense

spring boot 日志配置

尽量采用统一的日志输出格式
1, JPA 的sql输出

#spring.jpa.show-sql = true #不推荐这种方式
logging.level.org.hibernate.SQL=DEBUG

常见的部署方式

由于logstash比较消耗系统资源， 采用filebeat 来采集数据， 然后推送到logstash。 简单的case可以将logstash elasticsearch kibana 放在一个虚拟机。 filebeat可以分别安装在各个对应的微服务上。 注意：当这些部署在不同的机器上的时候，需要打开对应的端口。 对应的配置也需要相对修改下。
打开logstash的端口：

$ sudo firewall-cmd --zone=public --add-port=5044/tcp --permanent
$ sudo firewall-cmd --reload

filebeat的配置修改

logstash:
    # The Logstash hosts
    hosts: ["192.168.1.186:5044"]

修改hostName
如果微服务部署在不同的虚拟机中， 可以通过修改hostname，然后在ES的index中通过hostname 来区分日志的来源

$ hostnamectl status
# hostnamectl set-hostname Your-New-Host-Name-Here

关于日志采集的策略

（网上未提及此topic）
配置logstash是件麻烦事情。 一下两种策略互相冲突
1， 保证所有的log都index到ES
这中策略方便用户查找问题， 因为所有的log都可以搜索到
2， 严格过滤， 只提取我们需要的log信息
这种很方便做统计， 但是其他很多log会被过滤掉， 用来找问题不方便。

服务器时间设置

最好保证日志源的服务器时间和ELK的数据库服务器时间一直

# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# centos
Logo
Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。 一、云计算历经十余年

avatar Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松 今天的内容会从以下几个方面展开： 负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点 一、产品简介​ 1. 以NGINX为例​ 提到负载均衡，我们以

avatar Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。 单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

avatar Cloudpods