入门学习ELK,本文简单记录了我在centos6.8安装过程。

安装包:logstash-6.2.2.tar.gz

安装位置:/usr/local/software

解压即可。

------------------------------------

测试一、

启动命令: ./bin/logstash -e 'input {stdin {}} output {stdout {}}'

简单解释:'input {stdin {}} 为控制台输入  output {stdout {}}为控制台输出

启动成功后输入nihao回车后返回nihao


-----------------------------------

测试二、input为activeMQ output为logstash控制台

参考资料   https://www.tuicool.com/articles/nueeee2

安装logstash的jms插件

.bin/logstash-plugin install logstash-input-jms


.bin/logstash-plugin install logstash-input-stomp


启动

./bin/logstash -f ./config/zidingyi/activemq_logstash.conf


activemq_logstash.conf为:



我向activemq发了一个消息。



得到返回



-----------------------------------

测试三、input为activeMQ output为elasticsearch

input {
stomp {
host => "10.10.175.109"
#我笔记本的ip
destination => "elkTestQueue"
}
}


# filter {
#  
# }


output{
    elasticsearch{
        hosts=>["192.168.160.128:9200"]  
#虚拟机centos ip
        index => "es-message-%{+YYYY.MM.dd}"
     }
   stdout{codec => rubydebug}
}

向activemq传数据

可用再kibana中看到

-----------------------------------

测试四、input为kafka output为elasticsearch

资料

input {
  kafka {     
bootstrap_servers  => "10.10.103.86:9092,10.10.103.86:9093,10.10.103.86:9094"  #kafka
    client_id => "test"
    group_id => "test"
    auto_offset_reset => "latest" #从最新的偏移量开始消费
    consumer_threads => 5
    decorate_events => true #此属性会将当前topic、offset、group、partition等信息也带到message中
    topics => ["kafkaTest","test"]
    type => "bhy"
  }
}


# filter {
#  
# }


output {
    elasticsearch {
        hosts=>["192.168.160.128:9200"]  
        index => "es-message-%{+YYYY.MM.dd}"
    }
stdout{codec => rubydebug}
}


Logo

更多推荐