配置安装Hadoop2.2.0 部署spark 1.0的流程一、环境描述本实验在一台Windows7-64下安装Vmware，在Vmware里安装两虚拟机分别如下主机名spark1（192.168.232.147），RHEL6.2-64 操作系统，用户名Root从机名spark2（192.168.232.152），RHEL6.2-64 操作系统，用户名Root二、环境准备

当storm服务非正常终止（如关机没关虚拟机，或机器断电）时，下次再启动storm时会报如下错误2015-03-28 02:26:08 b.s.d.supervisor [INFO] Starting supervisor with id 7466cd48-9ca2-4957-844c-c03fa1ce7ca9 at host storm12015-03-28 02:26:08 b.s.

package com.hy.recommender.test.engine;import java.io.IOException;import java.io.InputStream;import java.rmi.Remote;import java.rmi.registry.LocateRegistry;import java.sql.Connection;import jav

1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop 2.2集群2.安装Zookeeper（1）下载Zookeeper：http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz（2

linux操作系统最小粒度的定时调度器只能调到分钟的级别，工作中有时需在到秒的调度，所以需要自己编写脚本来实现#!/bin/bashwhile [ true ]; do/bin/sleep 1##在这里可以编写自己复杂的业务代码netstat -n | grep 8020 >> /root/data/flume.logecho 10.58...###`date` >> /root/

1、在使用Java API访问之前先在安装有kafka的各个节点启动服务bin/kafka-server-start.sh config/server.properties &2、报如下错误props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");props.put("serializer.cl

1.本次选用3台机器测试2.

1、下载已经编译好的kafka-manager-1.0-SNAPSHOT.zip  百度网盘：http://pan.baidu.com/s/1i349zet 密码：9vfk2、解压到指定的安装目录：unzip kafka-manager-1.0-SNAPSHOT.zip3、修改conf/application.conf文件kafka-manager.zkhosts=设置为自己z

1、自定义FlumeKafkaSinkpackage com.panguoyuan.flume.sink;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;import java.util.Properties;import kafka.javaapi.producer.Produc

1.下载KafkaOffsetMonitor-assembly-0.2.0.jar 网盘地址：http://pan.baidu.com/s/1eQgYZOA  密码：rd5y2.在服务器上创建kafka-offset-console目录3.把下载好的文件上传到刚刚创建的目录下4.创建监控程序运行的产生的日志输出目录：/app/kafka-offset-console/logs5