logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop2.6.0搭建(简洁明了10分钟完全搞定)

hadoop2.6环境搭建1,准备环境:虚拟机hadoop01,修改ip地址master (192.168.111.10)slaves1(192.168.111.11)  slave2192.168.111.12) 2,修改主机名字sudo gedit /etc/hostname(三个主机都要该)一、安装jdk(1.7)   注意:jdk版本必须要和系统

#hdfs#hadoop#虚拟机 +1
filebeat接入数据kafka

官方最新下载filebeat  https://www.elastic.co/products/beatstar -zxvf  filebeat-5.5.2-linux-x86_64.tar.gzcd  filebeat-5.5.2-linux-x86_64filebeat主要是对配置文件filebeat.yml  进行修改#==============

logstash使用webhdfs插件指定输出字段存储数据到hdfs时间分层(还能保留原来数据)

基于项目新搭建环境-->部分工具版本hadoop 2.6.5 ;hive-1.2.1logstash 2.4.0; impala-2.8; elasticsesarch-5.4.1; spark-2.1.1; scala 2.12.2jdk1.8;kafka 2.10;redis-3.0.7;zookeeper-3.4正文:一个简单需求,就是通过

#hdfs#hive#大数据
winlogbeat监听windows日志到kafka、hdfs,不同层级取数据

winlogbeat监听windows日志到kafka,查询kafka里面的topic数据,以及从kafka中接入数据到hdfs、logstash不同层级取数据,过滤message.

#大数据#hdfs#windows
到底了