目录

一、HDFS介绍

二、下载Hadoop

三、解压缩Hadoop，并且安装配置

四、检查Hadoop的安装信息

五、Hadoop的配置过程

六、Hadoop伪分布式模式的配置

七、在Hadoop的HDFS环境中创建⽤⼾⽬录

---

一、HDFS介绍

HDFS是Hadoop三大组件(HDFS、MapReduce、YARN)之一

• 全称是：Hadoop Distributed File System（Hadoop分布式文件系统）
• 是Hadoop技术栈内提供的分布式数据存储解决方案
• 可以在多台服务器上构建存储集群，存储海量的数据

二、下载Hadoop

访问Hadoop的链接地址https://archive.apache.org/dist/hadoop/common/ 在该⻚⾯中查找需要的Hadoop版本信息；并通过WinSCP工具将宿主机上下载的hadoop压缩包软件上传到虚拟机中。

 

三、解压缩Hadoop，并且安装配置

hadoop@hadoop:~$ tar zxvf hadoop-2.7.3.tar.gz

hadoop@hadoop:~$ sudo mv hadoop-2.7.3 /opt/

hadoop@hadoop:~$ cd /opt/

hadoop@hadoop:/opt$ sudo mv hadoop-2.7.3/ hadoop

四、检查Hadoop的安装信息

hadoop@hadoop:~$ cd /opt/hadoop/

hadoop@hadoop:/opt/hadoop$ ./bin/hadoop version

看到以上的信息，说明Hadoop已经安装成功，cd进入hadoop安装包内，通过ll命令查看文件夹内部结构：

各个文件夹含义如下

• bin，存放Hadoop的各类程序（命令）
• etc，存放Hadoop的配置文件
• include，C语言的一些头文件
• lib，存放Linux系统的动态链接库（.so文件）
• libexec，存放配置Hadoop系统的脚本文件（.sh和.cmd）
• licenses-binary，存放许可证文件
• sbin，管理员程序（super bin）
• share，存放二进制源码（Java jar包）

下⾯开始进⾏Hadoop的配置。

五、Hadoop的配置过程

为了让Hadoop的命令在任意⽬录下也可以被调⽤，需要对Hadoop进⾏环境变量的配置。

hadoop@hadoop:~$ vim .bashrc

hadoop@hadoop:~$ source .bashrc

六、Hadoop伪分布式模式的配置

需要对Hadoop中的etc⽬录下的hadoop⽬录下的两个配置⽂件进⾏配置，以完成伪分布式的安装配置过程。

core-site.xml： Hadoop核心配置文件

etc/hadoop/core-site.xml:

hadoop@hadoop:~$ cd /opt/hadoop/etc/hadoop/

hadoop@hadoop:/opt/hadoop/etc/hadoop$ ls

hadoop@hadoop:/opt/hadoop/etc/hadoop$ vim core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>dfs.permission</name>
        <value>false</value>
    </property>
</configuration>

hadoop@hadoop:/opt/hadoop/etc/hadoop$ cat core-site.xml

hdfs-site.xml： HDFS核心配置文件

etc/hadoop/hdfs-site.xml:

hadoop@hadoop:/opt/hadoop/etc/hadoop$ vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

hadoop@hadoop:/opt/hadoop/etc/hadoop$ cat hdfs-site.xml

配置完成后，执⾏NameNode的格式化：

hadoop@hadoop:/opt/hadoop/etc/hadoop$ cd /opt/hadoop/bin/

hadoop@hadoop:/opt/hadoop/bin$ hdfs namenode -format

启动与关闭伪分布式的Hadoop：

七、在Hadoop的HDFS环境中创建⽤⼾⽬录

当查看命令正常结束，没有报错，说明创建用户⽬录成功。