环境

操作系统：Ubuntu 16.04.7 LTS (Xenial Xerus)

虚拟机软件：VMware Workstation Pro 17

Hadoop：3.3.6

下载

Hadoop阿里云镜像

Java 1.8 JDK (Linux)清华镜像

Ubuntu 16.04官网下载

步骤

（1）环境准备

1.创建Hadoop用户

3.1点击Open Terminal

3.2 输入

sudo useradd -m hadoop -s /bin/bash

按下回车键输入密码

Linux很多地方输入的密码是看不见的，如果输入后没反应就在输入完成按下回车键即可

Hadoop用户创建成功

3.3修改密码：

输入

sudo passwd hadoop

按下回车，弹出Enter new UNIX password输入hadoop按下回车，弹出Retype new UNIX password再次输入hadoop

3.4输入

sudo addusr hadoop sudo

增加管理员权限

3.5进入hadoop用户

2.安装vim

4.1输入

sudo apt-get update

按下回车键后输入密码，再次按下回车键等待更新完成

已完成：

4.2输入

sudo apt-get install vim

安装Vim编辑器

弹出Do you want to continue?[Y/n]输入y 等待安装完成

出现以下时安装成功

3.安装SSH和配置SSH无密码登录

5.1输入

sudo apt-get install openssh-server

安装SSH服务端，如果需要输入密码则输入密码；弹出Do you want to continue?[Y/n]输入y，按下回车键等待安装完成

安装完成

5.2输入

ssh localhost

登录本机

弹出Are you sure you want to continue connecting(yes/no)?输入yes

此时输入hadoop用户的密码hadoop，按下回车键后登录成功

5.3配置SSH无密码登录

输入exit退出SSH登录

输入

cd ~/.ssh/

按下回车

输入

ssh-keygen -t rsa

按下回车

在Enter file in which to save the key(/home/hadoop/.ssh/id_tsa):后不要输入任何东西并直接按回车

弹出Enter passphrase(empty for no passphrase): 后不要输入任何东西并直接按回车

弹出Enter same passphrase again: 后不要输入任何东西并直接按回车

输入

cat ./id_rsa.pub >> ./authorized_keys

按下回车

输入

ssh localhost

测试

此时进入到SSH

再次输入exit退出SSH，输入ssh localhost，此时不用密码即可登录

4.安装Java

方法一：

输入

sudo apt update

sudo apt install openjdk-8-jdk -y

注：该方法安装需要查找路径，默认安装至/usr/lib/jvm/java-8-openjdk-amd64

可以使用

whereis java

进行查找。

---

---

方法二：

注：本文使用的JDK压缩包为jdk-8u461-linux-x64.tar.gz，该包放置在~/Downloads文件夹下，请根据实际下载的文件进行后续步骤

6.2安装Java环境

输入

cd /usr/lib

按下回车

输入

sudo mkdir jvm

按下回车

输入

 cd ~

按下回车

输入

cd Downloads

按下回车

输入

sudo tar -zxvf ./<你的Java安装包名> -C /usr/lib/jvm

按下回车输入密码等待安装完成

（jdk-8u461-linux-x64.tar.gz是我所下载的安装包，具体名字看下载的文件夹）

输入

vim ~/.bashrc

按下“a”键编辑，在开头位置添加以下内容，按Esc后输入:wq保存

export JAVA_HOME=<你的JDK路径>
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH =.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

输入

source ~/.bashrc 

按下回车

再输入

java -version

按下回车，显示以下界面则安装成功

5.安装单机Hadoop

7.2安装

输入

sudo tar -zxf  ~/Downloads/<你下载的Hadoop压缩包> -C /usr/local

按下回车

（hadoop-3.3.6.tar.gz是我下载的版本，具体版本到Downloads文件夹查看）

输入

cd /usr/local

输入ls查看是否安装成功存在文件夹

输入

sudo mv ./hadoop-3.3.6 ./hadoop

输入

sudo chown -R hadoop ./hadoop

输入

vim ~/.bashrc

在文件开始位置写入下面信息，保存

保存后输入

source ~/.bashrc

输入

hadoop version

弹出hadoop信息

输入

cd /usr/local/hadoop

输入

mkdir

输入

ls

查看

输入

cp ./etc/hadoop/*.xml ./input

输入

./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep ./input ./output ‘dfs[a-z.]+’

输入

cat ./putput/* 

输出以下内容

（2）Hadoop伪分布式安装

1．修改core-site.xml

输入

cd /usr/local/hadoop/etc/hadoop

输入

vim core-site.xml

进入vim编辑器后在<configuration>和</configuration>之间输入以下这段保存

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

2． 修改hdfs-site.xml

输入

vim hdfs-site.xml

进入vim编辑器后在<configuration>和</configuration>之间输入以下这段保存

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

3．初始化

输入

cd /usr/local/hadoop

输入

./bin/hdfs namenode -format

出现以下信息则初始化成功

4．启动HDFS

输入

cd /usr/local/hadoop

输入

./sbin/start-dfs.sh

输入

jps

弹出以下信息启动成功

打开浏览器输入http://localhost:9870并进入

5．在HDFS中创建hadoop用户的用户目录

输入

cd /usr/local/hadoop

输入

./bin/hdfs/ dfs -mkdir -p /user/hadoop

输入

./bin/hdfs dfs -mkdir input

6．本地配置文件上传

输入

/bin/hdfs dfs -put ./etc/hadoop/*.input

6.执行测试样例Grep

输入

./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output ‘dfs[a-z.]+’

输入

./bin/hdfs/ dfs -cat output/*

得到以下结果

8.重新启动HDFS

输入

./bin/hdfs dfs -rm -r output

先删除output

输入

cd /usr/local/hadoop

输入

./sbin/stop-dfs.ssh