一. 集群规划ip主机名安装进程192.168.204.14hdp14namenode,ZKFC,resourcemanager192.168.204.15hdp15namenode,ZKFC,resourcemanager192.168.204.16hdp16natanode,nodemanager,zookeeper,Journalnode192.168.204.17hdp17natanode

分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask一、问题在把CDH集群上的数据迁移到apache集群上时，遇到错误，记录一下。1.脚本执行的时候报错INFO: Compiling command(queryId=hadoop_20211123141935_050b

datart中是没有hive驱动包的，需要我们自己根据hive版本，放入合适驱动包和相关的其他jar包。

解决HBase整合Hive时一直连接地址为localhost:2181的zookeeper的问题问题描述我在搭建HBase集群整合hive的时候，hive一直连接本地的zookeeper，而不是连接HBase集群中配置的zk地址1.HBase起初以为HBase中hbase-env.sh 这个配置没有生效，export HBASE_MANAGES_ZK=false反复检查了配置，应该是没有问题2.H

Flink on Yarn -CDH5部署1.1 Flink模式Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源1.2 Yarn模式部署​独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦合性

Zabbix安装节点规划进程hdp11节点hdp12节点hdp13zabbix-agent√√√zabbix-server√MySQL√zabbix-web√1.环境准备关闭集群关闭自己集群运行的大数据组件关闭防火墙参考我写的hadoop高可用搭建关闭SELinux参考我写的hadoop高可用搭建数据库安装参考我写的hive高可用搭建设置Xshell打开Xshell窗口,底部设置命令发送到所有会话

hadoop定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock一、问题重启hadoop集群之后,执行任务时发生异常异常信息Error: java.io.IOException: org.apache.hadoop.hdfs

hadoop 如何判断文件是否存在，目录是否存在，目录是否为空？之前在做日志收集的时候遇见一个问题，一直没有解决，今天偶然间想起来这个问题解决一下。将hdfs上的日志数据使用load命令加载到hive表中时，极少数情况下当某种日志缺失的时候，这种日志对应的路径为空，加载的时候会中断调度任务。在Linux文件系统中，可以使用下面的Shell脚本判断某个文件是否存在：# 这里的-f参数判断$file是

hadoop 高可用（HA）原理一、Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示:图1.Hadoop 1.x架构图从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂

Hadoop源码编译环境准备1.系统环境虚拟机安装 centos7已配置好网卡，能联网root用户安装2.软件安装包下载jdk8下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlhadoop-3.1.4-src.tar.gz 源码下载https://hadoop.apach