【概述】hdfs的HA机制，具体来说可以分为两部分，一部分是基于zkfc、zookeeper完成nn之间的选主；而另一部分则是nn之间的元数据共享与同步。从hdfs2.0版本开始，引入了H...

这是我的第101篇原创文章【背景】kafka基于k8s容器化部署后，对容器设置了存活探针，即检测监听端口是否存在。然而一次kill kafka进程的操作，服务的重启时间（supervisor会自动再拉起kafka进程）超过了存活探针的监测时间，导致pod重启。本文就该问题展开进行分析。【kill背后的逻辑】对于以SIGTERM信号（不带参数的默认发送信号）进行的kill操作，kafka broke

最近在排查一个sparkstreaming在操作kafka时，rebalance触发了一个异常引起任务失败，而组内小伙伴对消费者组的一些基本知识不是很了解，所以抽了些时间进行相关原理的整理。本文就来聊聊相关内容。【消费者组的基本原理】在kafka中，多个消费者可以组成一个消费者组（consumer group），但是一个消费者只能属于一个消费者组。消费者组保证其订阅的topic的每个分区只能分配给

kafka中提供了listeners和advertised.listeners两个配置项，两个配置项的具体含义和作用是什么，有些什么区别，以及应该如何进行配置呢？【概念理解】要搞清楚这些...

上一篇文章讲到了kafka中的ACL，也提到了是以插件式的形式实现的，本文就来聊聊基于ranger的kafka访问控制。【ranger插件安装】要使用ranger插件，首先需要对ranger的kafka插件包进行解压缩，然后进入解压缩后的目录，修改安装的配置文件`install.properties`，具体修改的配置项包括：# 插件安装位置(通常就是kafka的安装位置)COMPONENT_IN.