上一篇我们安装了Linux系统，想要搭建hadoop集群，还需要安装一些软件。比如JDK和hadoop，下面以JDK1.8和hadoop2.9.0为例介绍如何安装与配置。配置完一台Linux后只需要将这台机器复制几份后配置就完成了几群的搭建。

首先还是去官网下载JDK1.8和hadoop2.9.0，我都是以tar 方式安装。

第一步下载压缩文件使用Xftp5将文件上传至Linux系统/usr/java下。执行tar -xzvf jdk-8u151-linux-x64.tar.gz


解压完成后：


配置环境变量vi /etc/profile 添加

export JAVA_HOME=/usr/java/jdk1.8.0_151

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH


保存退出后，执行 source /etc/profile使环境变量生效


你也可以新建一个java文件输出hello world 试试。

第二步安装hadoop并配置环境变量

tar -xzvf hadoop-2.9.0.tar.gz 并将解压后的文件hadoop-2.7.3修改成hadoop，执行mv hadoop-2.7.3 hadoop
配置hadoop环境便变量，跟JDK相同的操作，vi /etc/profile 添加export（如上图）执行source /etc/profile使配置生效

配置hadoop的JAVA_HOME
vi  /usr/hadoop/etc/hadoop/hadoop-env.sh
添加：export JAVA_HOME=/usr/java/jdk1.8.0_151

修改master的/usr/local/hadoop/etc/hadoop/core-site.xml，指明namenode的信息
vi /usr/local/hadoop/etc/hadoop/core-site.xml 

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration>
此时hadoop就配置好了，测试hadoop是否安装完成，执行hadoop


第三步搭建hadoop集群
在虚拟节master上右键复制--》输入名称（slave1、slave2、slave3）--》选择完全复制

然后按照上一篇的配置分别配置slave1 slave2 slave3 IP为
slave1 192.168.56.101
slave2 192.168.56.102
slave3 192.168.56.103
并修改主机名称为slave1 slave2 slave3


使用xshell连接三台机器

修改4台机器的/etc/hosts,让他们通过名字认识对方，测试一下互相用名字可以ping通。
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
192.168.56.103 slave3


修改master下的/usr/hadoop/etc/hadoop/slaves


此时hadoop的集群及搭建好了，master上运行start-all.sh

所有机器执行jps会看到下图下过就完成了






# hadoop # 集群
Logo
Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具；    1.1 mii-tool 介绍；    mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

avatar Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

avatar Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

<br />　　Linux系统下超级终端Minicom的使用方法 <br />　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： <br />　　1． 启动minicom <br />　　以root权限登录系统 <br />　　使用命令 <br />　　minicom –s 则minicom启动，屏

avatar Linux