logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop 如何判断文件是否存在,目录是否存在,目录是否为空?

hadoop 如何判断文件是否存在,目录是否存在,目录是否为空?之前在做日志收集的时候遇见一个问题,一直没有解决,今天偶然间想起来这个问题解决一下。将hdfs上的日志数据使用load命令加载到hive表中时,极少数情况下当某种日志缺失的时候,这种日志对应的路径为空,加载的时候会中断调度任务。在Linux文件系统中,可以使用下面的Shell脚本判断某个文件是否存在:# 这里的-f参数判断$file是

#hadoop#大数据#hive +1
kafka重新设置consumer group的offset

kafka重新设置group的offset转自https://www.cnblogs.com/8765h/p/12233576.html​使用Kafka自带的kafka-consumer-groups.sh脚本可随意设置消费者组(consumer group),这是0.11.0.0版本提供的新功能,设置的前提是:consumer group状态是inactive的,即不能是处于正在工作中的状态。重

#大数据#kafka#zookeeper
hadoop 高可用(HA)原理 详细图解

hadoop 高可用(HA)原理一、Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前,我们先来看下Hadoop的系统架构,这对于理解HA是至关重要的。Hadoop 1.x之前,其官方架构如图1所示:图1.Hadoop 1.x架构图从图中可看出,1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂

#hadoop#zookeeper#大数据
hadoop 高可用(HA)原理 详细图解

hadoop 高可用(HA)原理一、Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前,我们先来看下Hadoop的系统架构,这对于理解HA是至关重要的。Hadoop 1.x之前,其官方架构如图1所示:图1.Hadoop 1.x架构图从图中可看出,1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂

#hadoop#zookeeper#大数据
hive高可用部署 HiveServer2高可用(HA)Metastore高可用(HA)基于Apache hive 3.1.2

HiveServer2 高可用修改配置hive-site.xml,增加一下内容<property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value></property><property><name&g

#hive#hadoop#zookeeper +2
Exception in thread “Thread-6“ java.lang.IllegalStateException: Trying to access closed classloader.

问题:Exception in thread “Thread-6” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrac

#big data
到底了