近期抽空搭建了一下hadoop-2.7.3 + hbase-1.3.1 + zookeeper-3.4.8 + hive-2.3.0完全分布式平台环境，网上查询了很多相关资料，安装成功后，特意记录下来以供参考。

一、软件准备

  VMware12、hadoop-2.7.3、hbase-1.3.1、zookeeper-3.4.8、hive-2.3.0、jdk-8u65-linux-x64.tar.gz

二、hadoop安装配置

  1.解压jdk:tar -zxvf jdk-8u65-linux-x64.tar.gz -C /home/zs/app/(提前建好的文件夹路径) 

 2. 解压hadoop  tar -zxvf hadoop-2.7.0.tar.gz -C /home/zs/app/

   3.配置环境变量: gedit /etc/proflie 打开文件添加：

   # jdk 
   export JAVA_HOME=/home/zs/app/jdk1.8.0_65
   export JRE_HOME=${JAVA_HOME}/jre
   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
   export PATH=${JAVA_HOME}/bin:$PATH

   # hadoop2.7.3
   export HADOOP_HOME=/home/zs/app/hadoop-2.7.3
   mapred-site.xml

 4.配置Hadoop中的配置文件

   主要配置四个文件，在Hadoop2.7.3/etc/hadoop中分别为core-site.xml       hdfs-site.xml    yarn-site.xml     mapred-site.xml（拷贝mapred-site.xml.template产生）  同样用sudo gedit命令打开xml文件

      1）core-site.xml

  <configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/zs/app/hadoop-2.7.3/tmp</value>
  </property>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value> // master 也可改为机器IP
  </property>
  </configuration>      

       这里是配置有多少个datanode节点,这里默认为master节点就是NameNode节点，slave节点就是datanode节点。我们这里有两个datanode节点。

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

       3）yarn-site.xml

  <configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 </configuration>

     4）mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

slave1
slave2

export JAVA_HOME=/home/zs/app/jdk1.8.0_65

三、hive安装配置(基于MySQL的本地模式安装)

  1.解压hive tar -zxvf apache-hive-2.3.0-bin.tar.gz    -C   /home/zs/app

  2.添加MySQL驱动：

         下载mysql-connector-Java-x.y.z-bin.jar文件并放到apache-hive-2.1.1-bin/lib目录下面。

 3.配置环境变量 sudo /etc/profile  添加：

    #hive
   export HIVE_HOME=/home/zs/app/hive-2.3.0
   export PATH=$PATH:$HIVE_HOME/bin

 4.修改hive-site.xml（hive-default.xml 复制重命名而成）：

   

1. <configuration>  
2.     <property>  
3.         <name>javax.jdo.option.ConnectionURL</name>  
4.         <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  
5.         <description>JDBC connect string for a JDBC metastore</description>      
6.     </property>     
7.     <property>   
8.         <name>javax.jdo.option.ConnectionDriverName</name>   
9.         <value>com.mysql.jdbc.Driver</value>   
10.         <description>Driver class name for a JDBC metastore</description>       
11.     </property>                 
12.   
13.     <property>   
14.         <name>javax.jdo.option.ConnectionUserName</name>  
15.         <value>hive</value>  
16.         <description>username to use against metastore database</description>  
17.     </property>  
18.     <property>    
19.         <name>javax.jdo.option.ConnectionPassword</name>  
20.         <value>123456</value>  
21.         <description>password to use against metastore database</description>    
22.     </property>            
23. </configuration>  

    5.修改hive-env.sh（hive-env.sh.template  复制重命名而成）

    bin/schematool -initSchema -dbType mysql

      8.先启动Hadoop，然后进入hive的lib目录，使用：hive 命令 启动hive

     #hbase
     export HBASE_HOME=/home/zs/app/hbase-1.3.1
     export PATH=$HBASE_HOME/bin:$PATH