logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flinkOnYarn 启动报错NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException

[root@hadoop-01 flink-1.9.0]# bin/yarn-session.shError: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/apache/...

hadoop HA切换机制

NameNode 的主备切换实现NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现:ZKFailoverController 作为 NameNode 机器上一个独立的进程启动 (在 hdfs 启动脚本之中的进程名为 zkfc),启动的时候会创建 HealthMonitor 和

Ambari2.6.2.2安装组件的配置文件位置

昨天在WEBUI中修改了Ambari集群中的一些配置想在linux上查看是否同步,找了半天没找到配置文件在什么位置,今天找到了,发出来希望可以帮助到大家,因为感觉里面的配置文件挺多挺乱的 1.Ambari安装Hive组件,配置文件在/etc/hive/2.6.5.0-292/02.Ambari安装Hadoop组件在/etc/hadoop/2.6.5.0-292/03.安装的组件...

Kafka消费与位移

1. 前言消息堆积是消费滞后(Lag)的一种表现形式,消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量,也称之为消费滞后(Lag)量。对于Kafka而言,消息被发送至Topic中,而Topic又分成了多个分区(Partition),每一个Partition都有一个预写式的日志文件,虽然Partition可以继续细分为若干个段文件(Segment),但是对于上层应用来说可以将..

【kafka】kafka0.11版本follower水位高于leader解决办法

错误日志:ERROR[ReplicaFetcherreplicaId=0,leaderId=2,fetcherId=0]ExitingbecauselogtruncationisnotallowedforpartitionIRT_Dev_HeartBeat-18,currentleader'slatestoffset45479islesstha...

kafka动态修改__consumer_offsets的副本数量(无需重启服务)

        在新版本Kafka中,__consumer_offsets这个topic是存放消费者偏移量的,但是该主题默认配置副本数量只有1,容易造成单点故障,我们可以动态修改(无需重启服务)副本因子,提高kafka的可靠性 修改流程----------------------------------------------------------------------------...

kafka报错org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test

1.控制台报错:2019-02-19 10:36:06.868 ERROR 2272 --- [kafka-producer-network-thread | producer-1] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a message with key='8677260313644..

K8S Node节点报错The connection to the server localhost:8080 was refused - did you specify the right host

K8S Node节点报错The connection to the server localhost:8080 was refused - did you specify the right host or port?今天在Kubernetes的从节点上运行命令【kubectl】出现了如下错误[root@k8snode1 kubernetes]# kubectl get podThe connec

到底了