使用 hive3.1.2 问题记录搭建步骤省略...一、HIVE ON MR1、第二次以上插入值insert into table tablename values("xx")；出现错误:1)、metastore.RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect (1 of 1) af

随着国产化信创的推进,cloudera产品逐渐被国产大数据平台替换,从一个运维角度来说其实是不太愿意看到这种情况，虽说底层都是hadoop那一套,但是各个厂商集成后的产品还是有很大差别的,或多或少都加入了自研产品。下面各个组件版本是经过大量编译、部署并验证基础场景SQL 操作没有问题后才最终确认其兼容版本,除了sqoop抽取关系型数据库到hbase有点问题,其他操作均未发现问题.作为使用方角度,通

在apache230.hadoop.com节点执行命令。1.5 配置 mapred-site.xml文件。1.10 ResourceManager高可用。1.2 配置core-site.xml文件。1.3 配置hdfs-site.xml文件。1.4 配置yarn-site.xml。JobHistory WEB UI页面。1.9 namenode 高可用配置。1.6 执行NameNode格式化。B.

root/apachecluster/start_apachev00.sh 脚本内容其实就是hadoop篇章的启停hadoop的命令。vim /opt/apache_v00/hadoop-3.3.5/etc/hadoop/core-site.xml 新增以下内容。/opt/apache_v00/hadoop-3.3.5/etc/hadoop/hadoop-env.sh 新增。apache-tez-

5、分发Hadoop配置文件到hbase配置路径下。3、hbase-site.xml配置。4、配置Hbase HOME环境变量。1、分发安装包并解压到指定路径下。2、hbase-env.sh配置。8、Master启用HA。6、启动hbase服务。

修改此参数原因: 部署时候impala无法查询数据，因为默认引用的是cloudera产品的依赖,cdp hive中的元数据表字段与apache hive元数据表字段不一致,报错信息为: Operations not supported. Table xxx access type is: NONE。见https://issues.apache.org/jira/browse/IMPALA-1079

说明: 这个时候就可以看到driver在231节点了,之前客户端部署模式是在哪个客户端执行,driver就在哪个机器上面。注: 此时部署模式是在客户端上 所以日志在客户端显示。3、配置spark-defaults.conf。A. 客户端部署模式验证计算pi。4、启动spark history服务。B.集群部署模式验证计算pi。2、配置spark-env.sh。6、spark-shell验证。5、验

说明: kafaka4.1.0 已经脱离了zk的依赖,因此你可以把它当成独立的组件去使用.（这里需要提高java版本,在启动脚本加上。A. apache230.hadoop.com 配置内容。B. apache231.hadoop.com 配置内容。C. apache232.hadoop.com 配置内容。3、生成UUI并格式化kafka。即可,这样也不会影响其他组件）5、kafka相关操作验证。

ranger-security.xml、ranger-hdfs-audit.xml、ranger-hdfs-security.xml、ranger-policymgr-ssl.xml、hiveserver2-site.xml以及hdfs-site.xml中新增了。路径为:/opt/apache_v00/ranger-2.5.0/ranger-2.5.0-admin/conf/ranger-admi

2、将mysql驱动包放置在其lib下。当前遇到问题,后续再看,版本兼容问题。6、导出数据到mysql。3、配置SQOOP环境。1、上传压缩包并解压。直接抽取到HDFS上。直接抽取到HIVE中。