一、Spark Streaming曲折发展史Spark Streaming针对实时数据流，提供了一套可扩展、高吞吐、可容错的流式计算模型。Spark Streaming接收实时数据源的数据，切分成很多小的batches，然后被Spark Engine执行，产出同样由很多小的batchs组成的结果流。本质上，这是一种micro-batch（微批处理）的方式处理不足在于处理延时较高（无法优...

一、Flume接受telent数据第一步：开发配置文件vim/export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1# 描述和配置source组件：r1a...

配置系统环境（动态）将ONBOOT改为yes命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0重启网络命令：/etc/init.d/network restart配置系统网络（静态）调整70-persistent-net.rules文件命令：vi /etc/udev/rules.d/70-persistent-net.rules...

linux集群克隆虚拟机更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules更改网卡信息 (setup)(修改satatic ip)vim /etc/sysconfig/network-scripts/ifcfg-eth0设置每个节点的主机名 ...

一、ZooKeeper集群搭建Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。Zookeeper运行需要java环境，所以需要提前安装jdk。对于安装leader+follower模式的集群，大致过程如下：配置...

注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.co...

org.apache.zookeeper.ZookeeperZookeeper 是在Java中客户端主类，负责建立与zookeeper集群的会话，并提供方法进行操作。org.apache.zookeeper.WatcherWatcher接口表示一个标准的事件处理器，其定义了事件通知相关的逻辑，包含KeeperState和EventType两个枚举类，分别代表了通知状态和事件类型，同时定...

zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。概念服务器ID比如有三台服务器，编号分别是1,2,3。编号越大在选择算法中的权重越大。选举状态LOOKING，竞选状态。FOLLOWING，随从状态，同步leader状态，参与投票。OBSERVING，观察状态,同步leader状态，不参与投票。LEADING，领...

ZooKeeper提供了分布式数据发布/订阅功能，一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使他们能够做出相应的处理。ZooKeeper中，引入了Watcher机制来实现这种分布式的通知功能。ZooKeeper允许客户端向服务端注册一个Watcher监听，当服务端的一些事件触发了这个Watche..

root用户登录不上解决方法：修改mysql配置文件 vim /etc/my.cnf添加skip-grant-tables重启mysql服务 service mysqld restart直接输入mysql进入shell窗口查看mysql用户表select host,user from mysql.user;新建root用户 密码为123456INSERT ...