总体目录：
一、虚拟机及CentOS安装配置
1、 软件准备
2、 虚拟机网络配置
二、单节点Hadoop
1、安装hadoop
2、配置hadoop
3、启动运行hadoop
三、集群Hadoop
1、克隆其他节点
2、配置集群
3、启动运行集群
内容简介：本文详细讲解了大数据应用重要系统Hadoop的安装和部署，包括Linux相关配置、单节点、集群的配置方法和MapReduce任务的验证，本文分成三个部分，请参阅。原创不易，转载请声明。
《大数据Hadoop安装部署-1-CentOS》
《大数据Hadoop安装部署-2-单节点配置》
《大数据Hadoop安装部署-3-集群配置》

一、虚拟机及CentOS安装配置

1、软件准备

1.1 虚拟机软件

建议使用VMwareWorkstation，本文是基于vmware来讲解的，当然也可以使用VirtualBox，道理都是一样的。

1.2 Linux系统

使用CentOS6.7，虽然CentOS已经停更，但是这个版本的Linux性能稳定，作为服务器操作系统应用广泛。

• ‌内核与系统架构‌

CentOS6.7基于Linux2.6.32内核，相比新版本更轻量级，适合资源受限的服务器环境。其默认的ext4文件系统在常规Hadoop数据存储场景中表现稳定，支持单文件系统容量达1EB，满足分布式存储需求。

• ‌兼容性与稳定性

对老旧硬件和软件的兼容性优异，适合运行依赖旧版库的Hadoop生态工具（如Hive1.x）。

长期运行的稳定性得到验证，尤其适合无需频繁更新的生产环境。实际案例显示，CentOS6.7部署的Hadoop集群可稳定处理高并发任务，如Web日志分析和大规模数据批处理。

• ‌资源占用优化‌

最小化安装时内存占用较低（约200MB），适合虚拟机或老旧硬件部署。通过关闭防火墙（service iptables stop）和禁用一些不用的服务，可进一步减少系统开销，提升Hadoop集群资源利用率。

下载地址：https://vault.centos.org/6.7/isos/x86_64/

1.3 JavaJDK

Hadoop是基于java的，因此需要java JDK，使用版本java 8 Linux版，形如jdk-8uXXX-linux-x64.tar.gz这样的linux版文件，官网下载地址是https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

2、虚拟机网络配置

在虚拟机中安装好CentOS后，首先就要进行网络配置，保证虚拟机网络畅通、和主机通讯无误。

2.1模式分类

‌桥接模式（BridgedMode） ‌

‌网络架构‌：通过虚拟网桥（VMnet0）将虚拟机网卡直接映射到物理网卡，虚拟机与宿主机处于同一局域网，相当于独立物理设备。

‌IP分配‌：由物理网络的DHCP服务器分配（或手动配置），与宿主机同网段（如宿主机192.168.1.100，虚拟机192.168.1.101）。

‌通信特性‌：

虚拟机可被局域网内其他设备直接访问（如共享文件、远程桌面）。

若物理网络有公网IP，虚拟机可直接暴露于外网。

‌自定义NAT模式‌

‌网络架构‌：通过VMnet8虚拟交换机和NAT服务，虚拟机共享宿主机IP访问外网。宿主机充当“路由器”，对外隐藏虚拟机IP。

‌IP分配‌：由VMware虚拟DHCP分配私有IP（如192.168.200.0网段），与宿主机不同子网。

‌通信特性‌：

虚拟机可主动访问外网，但除宿主机之外的不能直接访问虚拟机，除非通过端口转发规则（如宿主机8080→虚拟机80）。

默认隔离局域网内其他设备的直接访问。

在生产环境中，虚拟机和真实机不应有任何区别，共处同一网段，因此一般情况下使用桥接模式。

在测试开发环境中，如果需要虚拟机处在隔离的网段中，就使用自定义NAT模式。

2.2配置方法

桥接模式：

自定义NAT模式

进入VMware菜单，编辑-虚拟网络编辑器，添加VMnet8配置，设定和宿主机不同的网段，如本例：子网IP192.168.200.0，子网掩码255.255.255.0。

然后点击【NAT设置】配置网关，如本例192.168.200.1

为了保证虚拟机能够通过域名访问外网，还要配置DNS，去掉自动检测，加上两个当地快些的DNS地址

点击确定返回后，再点击【DHCP设置】，注意这个DHCP是虚拟机虚拟出来的，和宿主机使用的DHCP服务毫无关系。由于将来我们的几个节点的Hadoop服务器都采用固定IP，那么这里的动态分配的IP地址域就要避开固定的IP。

这里的VMnet8配置好后，就可以在具体的虚拟机的配置里选择它了。

3、Linux基本配置

3.1切换英文

CentOS安装完默认是中文的，需要切换成英文

启动虚拟机，登录进去，启动终端，切换成root，为了不必要的麻烦，本文下面的操作都是root进行的

 su

用vi编辑配置文件

 vi  /etc/sysconfig/i18n

输入i，进入编辑模式，修改为下面代码

LANG="en_US.UTF-8"

然后输入：wq保存退出

3.2配置网络

用vi编辑配置文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

输入i，进入编辑模式，修改为下面代码

DEVICE=eth0
BOOTPROTO=static #设置为静态IP
ONBOOT=yes #开机自启
IPADDR=192.168.200.2 5#静态IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.200.1 #网关地址
DNS1=8.8.8.8 #桥接模式下直接指定外网DNS
DNS1=192.168.200.1 #自定义NAT模式下通过网关获取DNS

然后输入：wq保存退出

启动网络

service network restart

查看IP和子网掩码

Ifconfig

查看网关是否生效

route -n

‌测试网络连通性

ping www.baidu.com

当然了，CentOS已经有了图形化界面来配置网络，效果是一样的。

鼠标右键


配置好后，点击网络图标重新连接即可

永久关闭防火墙

chkconfig iptables off

更改本机名称

vi /etc/sysconfig/network

输入i，进入编辑模式，修改为下面代码

hadoop-server-00

然后输入：wq保存退出

配置主机名称和IP地址的映射

vi /etc/hosts

输入i，进入编辑模式，增加下面代码

192.168.200.25 hadoop-server-00

然后输入：wq保存退出

3.3安装javaJDK

在CentOS里安装软件的方法简单的介绍一下，离线式的可以通过rpm，直接安装rpm格式的预编译的二进制文件，还可以通过软件的源码，自行编译、处理依赖，进行安装。

而在线的，通过软件源，用yum工具来进行安装。

Hadoop是java生态下的，其运行需要java虚拟机，因此安装javaJDK是必须的，java运行环境是编译好的，只要安装包解压到linux的特定路径下，经过配置就可以运行了。

首先根据上文1.3介绍获取jdk的安装包上传到虚拟机内即可，上传工具可以采用支持SFTP的工具例如FileZilla等，个人首推FinalSSH，因为这个SSH工具除了支持SFTP之外，可以方便地进行拷贝粘贴等命令。

检查CentOS现有的java安装情况

rpm -qa|grep java

java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64
tzdata-java-2015e-1.el6.noarch
java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
java_cup-0.10k-5.el6.x86_64
java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64

rpm -qa指令输出当前系统已经安装的所有软件包

|管道符，把前一命令的输出输入到下一个命令

grep java 文本查找包含java字样的

根据结果可知，系统目前安装了低版本的java

卸载已安装的jdk

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

创建程序目录

以后我们的软件都安装在这个位置

mkdir -p -m755 /usr/local/apps

解压jdktar包

进入到jdk上传到的那个目录内

cd /home/hadoop/Downloads

执行下面指令

tar -xvf jdk-8u77-linux-x64.tar.gz -C /usr/local/apps

配置环境变量

vi /etc/profile

输入i，进入编辑模式，添加下面代码

export JAVA_HOME=/usr/local/apps/jdk1.8.0_77
export PATH=$PATH:$JAVA_HOME/bin

然后输入：wq保存退出

刷新配置文件

source /etc/profile

检查效果，打出java版本，检查是否一致

 java -version

javaversion"1.8.0_77"
Java(TM)SERuntimeEnvironment(build1.8.0_77-b03)
JavaHotSpot(TM)64-BitServerVM(build25.77-b03,mixedmode)

至此，我们所有安装Hadoop的操作系统环境都已经准备好了，请继续阅读《大数据Hadoop安装部署-2-单节点配置》