环境ubuntu16.04

jdk1.8安装

python3(2或3都行)安装

zookeeper3.4.9安装

使用storm1.1.1


解压

tar -zxvf apache-storm-1.1.1.tar.gz

修改名字

mv apache-storm-1.1.1 storm

添加环境变量

vi ~/.bashrc

export STORM_HOME=/app/storm

export PATH=:$PATH:$STORM_HOME/bin

使环境变量生效

source ~/.bashrc


单机版:

单机版不用自己安装zookeeper。

解压storm.tar后 ,什么配置文件都不用改,只用加个环境变量就行了。

 cd /app/storm/bin

启动storm自带的ZK    nohup sh storm dev-zookeeper &

启动nimbus    nohup sh storm nimbus &

启动nimbus    nohup sh storm ui &

启动nimbus    nohup sh storm supervisor &

启动nimbus    nohup sh storm logviewer &


集群版:

4台机器

                nimbus            supervisor        zookeeper

node1            Y                                         Y

node2                                Y                     Y

node3                                Y                     Y

node4            Y                  Y                    

集群版要先安装zookeeper

安装zookeer

修改配置文件

cd /app/storm/conf

vi storm.yaml

指明zookeeper所在服务器的IP

空格storm.zookeeper.servers:
     - "node1"

     - "node2"

     - "node3"

指明nimbus.这里做HA,有两个nimbus

 空格nimbus.seeds:空格["node1",空格"node4"]

storm状态目录配置,这个目录用于存储storm的临时状态

空格storm.local.dir:空格"/app/storm/tmp"


supervisor.slots.ports为每个机器配置workers数量,默认是4个worker,端口6700 6701 6702 6703。如果要加worker,这里再多配端口号就行,比如多配一个woker在6704。这里我没有配置这个,就让它用默认的。

创建目录

mkdir /app/storm/tmp

启动

启动storm之前要先启动zookeeper

cd /app/zookeeper/bin

./zkServer.sh start


cd /app/storm/bin

启动storm的时候先启动nimbus再启动supervisor


对nimbus节点node1和node4启动

nohup sh storm nimbus &


对nimbus节点(node1)点启动

nohup sh storm ui &



对supervisor节点(node2、node3、node4)启动

nohup sh storm supervisor &


对每个节点启动logviewer 

nohup sh storm logviewer &


对每台机器jps看是否启动好了

node1


node2


node3


node4


ui访问界面http://node1:8080

访问的是启动UI的机器的IP


storm常见基本配置



Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐