CentOS安装HBase(伪分布式)
一、安装jdk1、通过共享文件夹或者winSCP将jdk安装包上传到Linux的指定目录/opt下2、解压 tar包tar -xzvf jdk-linux-x64.tar.gz3、配置环境变量vi /etc/profile在/etc/profile 末尾添加如下内容4、使新的配置文件生效source /etc/profile5、执行命令“java -version”,显示内容如下,表示安装成功二、
一、安装jdk
1、通过共享文件夹或者winSCP将jdk安装包上传到Linux的指定目录/opt下
2、解压 tar包
tar -xzvf jdk-linux-x64.tar.gz
3、配置环境变量
vi /etc/profile
在/etc/profile 末尾添加如下内容
4、使新的配置文件生效
source /etc/profile
5、执行命令“java -version”,显示内容如下,表示安装成功
二、安装ssh
1、通过“rpm -qa | grep ssh”命令查看是否已安装,如果返回包含“openssh-client”的字样,说明已经安装 SSH 客户端软件。否则,用“yum install openssh-client”命令安装
已经安装了ssh则忽略安装
2、安装 SSH 服务端软件
yum install openssh-server
3、重启 SSH 服务并设置开机启动
sudo sshd restart
chkconfig sshd on
三、映射ip与主机名
1、修改主机名称为hadoop1
vim /etc/sysconfig/network
2、不重启系统使主机名立马生效
hostname hadoop1
3、映射ip与主机名
vim /etc/hosts
四、安装配置hadoop
1、下载hadoop2.7.3的安装包
下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
2、解压安装包
将下载的hadoop-2.7.3.tar.gz文件通过WinSCP等工具上传到Linux的~/soft目录下中
解压安装包
tar -zxvf hadoop-2.7.3.tar.gz
解压后ls查看发现多了一个目录hadoop2.7.3
创建软链接,方便使用
ln -s hadoop-2.7.3 hadoop
配置Linux环境变量
vi ~/.bashrc
在文件末尾添加:
让环境变量立即生效
source ~/.bashrc
五、设置免密登录
生成秘钥对
cd ~
ssh-keygen -t rsa,连续敲击三次回车
在~/.ssh中生成公钥(id_rsa.pub)和私钥(id_rsa)
追加公钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
验证免密登录(注意前后路径的变化)
六、配置Hadoop伪分布式
首先切换到配置文件所在目录
cd ${HADOOP_HOME}/etc/hadoop
ls查看有哪些配置文件
配置hadoop-env.sh
(1)echo $JAVA_HOME 查看JAVA_HOME的绝对路径
(2)打开hadoop-env.sh,找到含有export JAVA_HOME=${JAVA_HOME}一行,将等号后面的内容删除,换成JAVA_HOME的绝对路径
配置core-site.xml, 在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:
配置hdfs-site.xml,在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:
配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:
配置yarn-site.xml,在< configuration>与< /configuration>之间添加配置内容,添加的配置如下:
配置slaves,将localhost修改为主机名,例如: hadoop1
格式化Hadoop文件系统
hdfs namenode -format
执行以上命令后,输出若看到“Exiting with status 0”为格式化成功,否则可能哪个步骤出错,请再检查前面的设置。
注意:格式化只需要进行一次,以后启动hadoop前不需要再次格式化。
启动Hadoop
(1)启动HDFS
start-dfs.sh
jps查看进程,能看到除了jps之外有三个进程出现,分别是:NameNode、DataNode、SecondaryNameNode
如果少了某个进程,解决思路是:进入Hadoop的logs目录下查看相应的log。
例如:没有NameNode进程,需要用cat命令 查看namenode相关的.log的文件,即:hadoop-hadoop-namenode-node1.log。
执行以上命令后,找到error、exception、warn等包含错误的关键信息,得到错误原因,进而对症解决。
(2)启动YARN
start-yarn.sh
jps查看进程,多出有2个进程出现,分别是:ResourceManager、NodeManager
如果少了其中任意一个进程,解决思路也是查看相应的log,找到问题原因,进而解决。
查看Hadoop的Web监控页面(在windows系统)
(1)访问HDFS Web监控页面,打开浏览器,在地址栏输入:192.168.26.129:50070(注意:192.168.26.129是你自己的虚拟机的ip)。 浏览器显示截图如下:
(2)访问YARN的Web监控页面,打开浏览器,在地址栏输入:192.168.26.129:8088。浏览器显示截图如下:
hadoop伪分布式搭建成功
stop-all.sh,停止所有的hadoop服务
七、安装HBase
下载HBase
下载地址:https://archive.apache.org/dist/hbase/
下载文件:hbase-1.3.1-bin.tar.gz
下载完成后,将 hbase-1.3.1-bin.tar.gz 文件通过共享文件夹或者WinScp等工具上传到Linux中的~/soft目录下
解压hbase
tar -zxvf hbase-1.3.1-bin.tar.gz
新建软链接,方便使用
ln -s hbase-1.3.1 hbase
配置环境变量
vi ~/.bashrc,在文件末尾添加如下内容:
让环境变量立即生效
source ~/.bashrc
验证
hbase version
正常输出如下:
配置hbase-env.sh
cd $HBASE_HOME/conf
编辑hbase-env.sh
vi hbase-env.sh
找到并 修改JAVA_HOME的值 及 配置使用hbase自带的ZooKeeper
注意:1.需要去掉export前面的#号; 2.JAVA_HOME的值注意根据实际情况修改
修改如下:
配置hbase-site.xml,在< configuration>< /configuration>之间添加如下内容:
配置regionservers
删除原有内容改为Linux的主机名,例如:hadoop1
启动hbase
(1)先启动hadoop
start-all.sh
(2)再启动hbase
start-hbase.sh
(3)验证
查看jps进程
浏览器访问:192.168.26.129:16010
安装完成!!!
更多推荐
所有评论(0)