Storm集群的安装
到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster安装Storm分为如下5个步骤:1、安装zookeeper集群2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.63、安装Storm包,解压到Nimbus和Supervisor机器4、配置Sto
到Storm的官方网站Document下的Setup and deploying栏目下的Setting up a Storm Cluster
安装Storm分为如下5个步骤:
1、安装zookeeper集群
2、在Nimbus和Supervisor机器上安装JAVA SDK 6和python2.6.6
3、安装Storm包,解压到Nimbus和Supervisor机器
4、配置Storm的Storm.yaml文件
5、启动Nimbus和Supervisor
1、在进行这5步安装之前,先做好如下准备:
将集群中机器的防火墙关掉;修改/etc/hosts文件,设置IP和主机名的映射关系
2、建议将JAVA JDK的安装和python的安装提前在zookeeper集群安装集成之前
2.1 将JAVA bin包jdk-6u24-linux-i586.bin放在安装目录,修改其执行属性:chmod u+x jdk-6u24-linux-i586.bin
2.2 执行此bin文件:./jdk-6u24-linux-i586.bin,会自动解压到当前目录
2.3 修改目录名为jdk
2.4 修改~/.profile
导出环境变量:export JAVA_HOME=/home/storm/software/jdk,根据实际情况修改目录路径
将JAVA_HOME/bin加入PATH属性中:export PATH=.:$JAVA_HOME/bin:$PATH
2.5 执行source ~/.profile,使得环境变量生效
2.6 执行java -version,确认java已经安装成功
python一般的Linux都会默认安装,只要确认版本是否是2系列,并且高于2.6.6即可:python -V
3、zookeeper集群的安装
请参考我的博客文章:http://blog.csdn.net/wb81074/article/details/50516193
4、安装Storm
0.9之前的Storm版本需要安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。
我们安装apache-storm-0.9.1-incubating版本。
4,1 到apache storm官网下载0.9.1版本
4.2 解压到当前目录:tar -xzf apache-storm-0.9.1-incubating.tar.gz
4.3 修改目录名:mv apache-storm-0.9.1-incubating storm
4.4 修改~/.profile文件:
导出环境变量:export STORM_HOME=/home/storm/software/storm
加入PATH变量:export PATH=.:$STORM_HOME/bin:$PATH
4.5 使得.profile文件在当前会话中生效:source ~/.profile
4.6 修改storm配置文件:STORM_HOME/conf/storm.yaml,将如下内容去掉前面的#号,注意开头的空格以及冒号之后也有空格:
(应该可以把IP地址改为主机名,没试过)
storm.zookeeper.servers:
- "10.118.15.21"
- "10.118.15.22"- "10.118.15.23"
nimbus.host: "10.118.15.21"
storm.zookeeper.port: 2181
storm.local.dir: "/home/storm/software/storm/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 67034.7 创建目录:/home/storm/software/storm/data
4.8 将storm目录拷贝到其他storm集群机器:scp -rp ~/software/storm/ storm@linux-22:~/software/
4.9 确认zookeeper集群已经启动成功,然后启动storm集群:
在master机器上运行:storm nimbus &
在supervisor机器上运行:storm supervisor &
在master机器上运行:storm ui &
在master机器上运行:storm logviewer &
4.10 执行jps确认是storm集群启动成功,看是否存在nimbus进程和supervisor进程,以及是否有core进程(对应ui启动成功),是否有logviewer进程。
4.11 在浏览器中输入运行了nimbus进程的机器ip地址,端口号为8080,可以看到storm集群信息
更多推荐
所有评论(0)