准备工作

hadoop版本：3.0.0-cdh6.3.2

hive版本：hive-2.1.1

linux环境:centos7.6

jdk1.8

maven-3.6以上

protobuf-2.5.0.tar.gz(只能是这个版本

Releases · protocolbuffers/protobuf · GitHub

tez-0.9.2源码

Apache Downloads

安装

配置一下两个环境

解压:
tar -zxvf apache-maven-3.6.3-bin.tar.gz
配置环境变量:
vim /etc/profile
export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH
source /etc/profile(别忘记)
验证:
mvn -v

解压:
tar -zxvf protobuf-2.5.0.tar.gz
编译:
cd protobuf-2.5.0
./configure
make
make install
验证:
protoc --version
注：当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc

安装tez0.9.2

解压:

tar -zxvf apache-tez-0.9.2-src.tar.gz

修改pom.xml

第一处:
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
第二处:
<repository>
  <id>cloudera</id>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  <name>Cloudera Repositories</name>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>
第三处:
<pluginRepository>
  <id>cloudera</id>
  <name>Cloudera Repositories</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</pluginRepository>
第四处:
<dependency>
  <groupId>com.sun.jersey</groupId>
  <artifactId>jersey-client</artifactId>
  <version>1.19</version>
</dependency>
第五处:
<!--<module>tez-ext-service-tests</module>
<module>tez-ui</module>-->
注:将这两个注释掉,如果有需要可以不用注释

 修改mapreduce的java文件

报错:tez-mapreduce编译时，报ApplicationReport.newInstance() 89行异常，使用另一个方法newInstance()方法

vim tez-mapreduce/src/main/java/org/apache/tez/mapreduce/client/NotRunningJob.java

return ApplicationReport.newInstance(unknownAppId, unknownAttemptId, "N/A",
        "N/A", "N/A", "N/A", 0, null, YarnApplicationState.NEW, "N/A", "N/A",
        0, 0, 0, FinalApplicationStatus.UNDEFINED, null, "N/A", 0.0f, "TEZ_MRR", null);
注:可以先进行编译,如果报这个错再进行修改这一步也行

 maven编译

mvn clean package -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
注:这样会跳过test编译,很快就编译完成

 编译完成

 编译完位置

整合到hdfs

1.hadoop fs -mkdir /user/tez
2.hadoop fs -put tez-0.9.2.tar.gz /user/tez

 整合到hive

1.创建tez-site.xml
1.1cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib
1.2mkdir tez
1.3vim tez-site.xml
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/apps/tez-0.9.1/tez-0.9.1.tar.gz</value>
    </property>
    <property>
          <name>tez.use.cluster.hadoop-libs</name>
          <value>false</value>
    </property>
</configuration>
2.拷贝jar包
tez-0.9.2-minimal文件夹下的jar及lib下的jar拷贝到tez中
3.避免kryo的错误：
java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy
3.1 cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib
3.2 mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck
3.3 mv hive-exec-core.jar hive-exec-core.jar.bck
4.配置hive的env配置文件
4.1 添加:HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*
4.2 部署客户端配置
4.3 重启需要组件
5 将tez分配到hive所在的节点上

• hive使用lzo压缩后,解决tez和spark不能用的问题

 

1.在cdh中hive的高级配置里面,声明辅助的文件地址(也可以直接声明lzo所在的文件夹)
2.在声明的辅助文件夹的地址下,放lzo的jar包
3.在hive-env.sh的高级环境代码段填写
  HIVE_AUX_JARS_PATH=你声明的文件夹的地址
4.重启hive.  

 

 

 

• 验证

set hive.tez.container.size=3020;(注:根据服务器的性能适当调节)
set hive.execution.engine=tez;

 

 

hue使用tez

hue使用的是hive的远程连接窗口,所以在配置值得在hiveservice2的环境高级代码段配置
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*
重启hive组件

 

 验证