logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

yarn WEB UI及reserved memory、spark WEB UI

1 yarn web ui:Apps Submitted:已提交的应用Apps Completed:已完成的应用Apps Running:正在运行的应用Containers Running:正在运行的容器Memory Total:集群总内存Memory Used:已使用内存VCores Total:集群 CPU 总核数VCores Used:已使用的 CPU 核数Memory Reserved:预

文章图片
#前端#yarn#ui
kafka异常解决

NotAssignedReplicaExceptionkafka.common.KafkaException: Should not set log end offset

#kafka#分布式
Kafka配置kerberos(CDH)

参考文档:https://www.jianshu.com/p/dd73b318e743vi jaas.confKafkaClient{com.sun.security.auth.module.Krb5LoginModule requireduseTicketCache=true;renewTicket=true;};vi client...

Flink读写Kerberos认证Kafka环境。

Flink比较完美的支持kerberos读写Kafka.1flink-conf.yaml , 将如下涉及kerberos的配置注解去除2 代码读写kafka示例如下:def main(args: Array[String]): Unit = {val params: ParameterTool = ParameterTool.fromArgs(args)...

kafka 故障: 监控出现 offline partition 1个和大量under replicated 状态分区.

1 CDH Kafka实例出现红色告警offline partition2 查看CDH 图表实例:发现从4月14号3:20 ,到今天4月15号一直保持offline partitions数量和under replicated数量不变。3 在命令行查看under replicated parttion 状态的topic./kafka-topics.sh --d...

到底了