简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
hadoop2.6.0搭建(简洁明了10分钟完全搞定)
hadoop2.6环境搭建1,准备环境:虚拟机hadoop01,修改ip地址master (192.168.111.10)slaves1(192.168.111.11) slave2192.168.111.12) 2,修改主机名字sudo gedit /etc/hostname(三个主机都要该)一、安装jdk(1.7) 注意:jdk版本必须要和系统
filebeat接入数据kafka
官方最新下载filebeat https://www.elastic.co/products/beatstar -zxvf filebeat-5.5.2-linux-x86_64.tar.gzcd filebeat-5.5.2-linux-x86_64filebeat主要是对配置文件filebeat.yml 进行修改#==============
logstash使用webhdfs插件指定输出字段存储数据到hdfs时间分层(还能保留原来数据)
基于项目新搭建环境-->部分工具版本hadoop 2.6.5 ;hive-1.2.1logstash 2.4.0; impala-2.8; elasticsesarch-5.4.1; spark-2.1.1; scala 2.12.2jdk1.8;kafka 2.10;redis-3.0.7;zookeeper-3.4正文:一个简单需求,就是通过
winlogbeat监听windows日志到kafka、hdfs,不同层级取数据
winlogbeat监听windows日志到kafka,查询kafka里面的topic数据,以及从kafka中接入数据到hdfs、logstash不同层级取数据,过滤message.
到底了