Hadoop单机模式用MobaXterm环境搭建(详细)
Hadoop单机模式环境搭建一、环境准备二、安装java1.安装java2.java环境配置三、安装Hadoop1.安装Hadoop2.Hadoop环境配置3.修改Hadoop配置文件4.名称节点格式化四、SSH免密登录五、启动Hadoop一、环境准备1.安装VMware虚拟机并且在虚拟机里安装linux系统VMware安装虚拟机及CentOs安装2.安装MobaXtermMobaXterm安装及
Hadoop单机模式环境搭建
一、环境准备
1.安装VMware虚拟机并且在虚拟机里安装linux系统 VMware安装虚拟机及CentOs安装
2.安装MobaXterm MobaXterm安装及使用
3.打开虚拟机和MobaXterm,并且连接成功
在自己的/home目录下新建一个文件夹hadoop,
再在hadoop文件夹下面建两个目录(文件夹),
一个叫setup用来放压缩包
一个叫softs用来放解压后的软件
二、安装java
jdk用的是jdk-8u162-linux-x64.tar.gz可以到官网下载
也可以找我要哦
1.安装java
①切换到setup目录下,在mobaxterm左边的目录里也到setup目录下,然后打开本地文件夹jdk安装的位置,将它拖到setup文件夹里
②解压
2.java环境配置
①vi ~/.bashrc 执行这条命令编辑该文件 键盘移动光标之后一行末尾回车就可以有下一行了(在写的时候直接光标直接到不了最后一行的下一行)
注意里面不能写错(仔细)
②source ~/.bashrc 使配置文件生效
③java -version 验证java是否安装配置成功
三、安装Hadoop
hadoop使用的是hadoop-2.7.3.tar.gz 可以到官网下载
也可以找我要哦
1.安装Hadoop
和刚才一样将文件拖到setup目录下,解压到softs文件夹里
2.Hadoop环境配置
①vi ~/.bashrc 修改文件
②source ~/.bashrc
③hadoop version 看hadoop环境文件配好了没
3.修改Hadoop配置文件
修改两个hadoop文件,这两个文件路径是/home/hadoop/softs/hadoop-2.7.3/etc/hadoop
①到上述路径后 vi core-site.xml
编辑成图片这个样子
②vi hdfs-site.xml
仔细一点不要输入错了,不然名称节点格式化的时候会有错误
这是刚刚的一些切换目录,编辑文件的命令
4.名称节点格式化
输入两条命令:
cd /home/hadoop/softs/hadoop-2.7.3/bin/
hdfs namenode -format
如果有错误的话,参考文章:hadoop名称节点格式化失败分析及解决方法
可能可以解决你的问题
四、SSH免密登录
1.查看你是否已经安装ssh
rpm -qa|grep ssh
图片这样的说明你已经安好了
2.安装ssh
如果第一步查看安装好ssh了就跳过这一步
Yum -y install openssh openssh-server open-client.ssh /home/hadoop
作者没有安装过ssh,如果这个命令不行的话可以找一些其他文章参考
3.ssh-keygen 生成秘钥(有停下来等输入的按回车就好)
4.到秘钥的位置执行下面两条命令
cat id_rsa.pub >> authorized_keys 公钥内容追加到authorized_keys这个文件里
chmod 600 authorized_keys 修改authorized_keys这个文件的权限
五、启动Hadoop
- 到hadoop的sbin目录下
cd /home/hadoop/softs/hadoop-2.7.3/sbin
2.执行命令sh start-dfs.sh 启动hdfs服务
在途中只要是输入yes还是no的地方全部输入yes
3.执行命令jps
如图,则说明启动成功
4.关闭hdfs服务
sh stop-dfs.sh
注:hadoop的启动可以是hadoop-all.sh
还可以分两步启动hadoop-dfs.sh 和hadoop-yarn.sh
ps:本人也是初学,如有错误,接受批评指正。
更多推荐
所有评论(0)