这篇文章主要记录安装hadoop的过程,给后来者一点帮助,

  • 官网获取安装包

选一款你想要的

Apache Hadoop 

  • 下载完成后上传到服务器(我用的是finalshell)

先别急着解压

  • 准备Java包

像上面一样官网下载对应的Java包

这边我已经准备好了

jdk-8u212-linux-x64.tar

同样的 上传到服务器

  • 现在我们开始正式安装hadoop
  • 新建一个个人用户

adduser wolf   (我用的是wolf  大家可以随意设计)

su – wolf   进入到wolf用户下

  • 新建几个文件夹

将root 用户下的

Hadoop压缩包和java包解压到 wolf用户下software文件夹

cp Hadoop-3.1.3.tar.gz /home/wolf/software

cp jdk-8u181-linux-x64.tar.gz /home/wolf/software

然后依次解压到app文件夹下

好了,现在app文件夹下就有了两个文件夹

  • 接下来创建软链接

创建软链接的好处之一就是切换版本无感知,对日后的版本管理提供了很大的便利性

ll 一下

  • 接下来要更改 etc/hadoop/core-site.xml

在最后一段加上

注意要改成自己的用户名

  • 接下来要更改 etc/hadoop/hdfs-site.xml

在最后一段加上

  • 接着我们要修改主机名

执行

hostnamectl set-hostname wolf        这边一定修改 不然会报错的

  • 接着修改workers

修改成自己的用户名

改完之后要重新进入服务器 才能生效

  • 接着配置下/home/wolf/app/hadoop/etc/hadoop/ hadoop-env.sh

Vi hadoop-env.sh

这边要设置下java_home  

这个时候应该能体会到软链接的好处,下次我们更新jdk版本的时候只需要整体替换jdk包就行了,不需要再一个个修改这些路径了

  • 接着设置下免登录

分别执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

  • 最后修改环境变量

切换到root用户下

vi /etc/profile

在文件最后添加这么几行代码

export JAVA_HOME=/home/wolf/app/java

export PATH=$JAVA_HOME/bin:$PATH

保存退出

并执行 source /etc/profile   重启使环境变量生效

  • 安装hadoop
  • 格式化节点

来到 /home/wolf/app/Hadoop  路径下

执行

bin/hdfs namenode -format

当出现这句话时 就说明执行成功了

  • 启动hadoop

sbin/start-dfs.sh

这样就启动起来了

  • 最后结果

输入 jps

看到这几个结果 就算是大功告成了

Logo

更多推荐