logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flink on yarn应用常见问题记录及解决方案

近期由于工作原因,碰巧使用到了flink+kafka+hdfs+kerberos流式计算。一路走来,崎岖坎坷,满是荆棘。以此文记录一下学习实践经历。若能为各位后来者提供帮助,实乃我幸!

#flink#kafka#hdfs
kafka-consumer-group Group xxx with protocol type ‘‘ is not a valid consumer group

如题,很多同学应该都遇到过,执行kafka-consumer-group的时候,无法查看消费者组消费情况。{$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group flink-consumer-groupError while execu

#kafka#flink
idea中,java如何实现连接带有kerberos认证的kafka环境,以及ICMP Port Unreachable的解决办法

如题,在Java本地开发环境中,如果需要测试kafka kerberos认证,和linux系统有什么区别呢?前提 :首先拥有带有kerberos的kafkahu环境,其次读者可以自行连接普通没有认证的kafka环境。本文通过简单的代码片段详解。如下:首先,需要具备kerberos认证的文件,主要包含keytab和jaas.conf其次,代码中需要设置认证方式设置jvm参数-Djava.securi

#java#kafka#intellij-idea
到底了