1、安装sz/rz如下操作如果遇到权限问题，请切换到root账号下进行下载：wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz解压：tar zxvf lrzsz-0.12.20.tar.gzmake：cd lrzsz-0.12.20./configure && make && make install安装过程默认把lsz和

（一） 安装ps: 我的zookeeper集群有三台机器，分别为IP1、IP2、IP31.1将zookeeper的包分别拷贝到/apps/svr/目录下进行解压tar -zxvf zookeeper-3.4.5.tar1.2修改配置文件（1）配置server，如上图红色部分所示（2）配置dataDir，图中设置为/apps/dat/zookeeper如果所在目录不存在，创建目录mkdir -p

在启动storm之前要确保nimbus和supervisor上的Zookeeper已经启动（1）查看zk的状态：./zkServer.sh status（2）如果zk没有开启，将nimbus和supervisor的zk开启./zkServer.sh start（3）启动nimbus（切换到storm的bin目录下）nohup ./storm nimbus & （4）启动supervisorn

前言：传统的web项目，一般都将静态资源连同项目部署在容器中（如tomcat、jetty）,但是有时需要把这些静态资源文件单独拿出来，ngnix这时可以来充当静态资源服务器的功能。配置Nginx/Tengine请先确保自己的服务器安装了Nginx或者Tengine（本文以Tengine为例）将静态资源文件拷贝到指定目录，如/home/admin配置nginx-proxy.conf文件serv

1 概述Spark Streaming是Spark核心API的一个扩展，对于实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。Spark Streaming可以从kafka、flume、Twitter、 ZeroMQ、Kinesis、TCP套接字等数据源获取数据，同时可以用由high-level函数（如map、reduce、join、window等）组成的复杂算法处理数据。最后，处

（一）安装与配置安装列表kafka_2.10-0.8.1.1.tarjdk1.7.0_51.tar1 安装jdk如果jdk已安装，可以跳过；没有安装的可以参照：http://blog.csdn.net/ouyang111222/article/details/503441352 安装kafka1.2.1 解压kafka我的集群有3台机器，ip分别为ip1、ip2、

以下文章转载自：http://blog.csdn.net/jewes/article/details/42744855Kafka的通讯协议标签:kafkaKafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套

Spark Streaming可以从任意数据源接受流数据，而不仅仅是那些内置支持的数据源（如Flume、kafka等）。这就要求开发人员实现一个接收器（recevier），用于接收来自有关数据源的数据。本篇手册以一个自定义的接收器（recevier）实现和其在sparkstreaming中的应为为主线进行讲解。需要注意的是，自定义接收器可以用Scala或者Java实现。实现自定义

（一）问题描述：今天跑了一个storm job，job的目的是向redis写入数据，job可以正常运行，但是奇怪的是运行大约3分钟左右就停了，没有跑任何的异常……（二）问题症结（以下为简化代码）：@Overridepublic void execute(Tuple input) {KafkaEvent kafkaEvent = (KafkaEvent) inpu

本文主要查看kafka在zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，其测试环境如下：kafka 0.8.1.1zookeeper 3.4.51 Broker node 注册当一个kafka broker启动后,会向zookeeper注册自己的节点信息，该节点为一个临时节点，当当broker断开和zookeeper的连接时，其临时节点将会被删除。其路径为: /broker