Hadoop源码编译环境准备1.系统环境虚拟机安装 centos7已配置好网卡，能联网root用户安装2.软件安装包下载jdk8下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlhadoop-3.1.4-src.tar.gz 源码下载https://hadoop.apach

hadoop 如何判断文件是否存在，目录是否存在，目录是否为空？之前在做日志收集的时候遇见一个问题，一直没有解决，今天偶然间想起来这个问题解决一下。将hdfs上的日志数据使用load命令加载到hive表中时，极少数情况下当某种日志缺失的时候，这种日志对应的路径为空，加载的时候会中断调度任务。在Linux文件系统中，可以使用下面的Shell脚本判断某个文件是否存在：# 这里的-f参数判断$file是

kafka重新设置group的offset转自https://www.cnblogs.com/8765h/p/12233576.html​使用Kafka自带的kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group)，这是0.11.0.0版本提供的新功能，设置的前提是：consumer group状态是inactive的，即不能是处于正在工作中的状态。重

hadoop 高可用（HA）原理一、Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示:图1.Hadoop 1.x架构图从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂

hadoop 高可用（HA）原理一、Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示:图1.Hadoop 1.x架构图从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂

HiveServer2 高可用修改配置hive-site.xml,增加一下内容<property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value></property><property><name&g