logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kafka 扩容

现在在用kafka集群有3个节点,即zk1、zk2、zk3,现需要将broker节点扩容至4个,以提供更高的数据处理能力。1.1 新扩容1个broker节点zk4 ,并部署kafka应用程序;我是虚拟机,全部在一台上跑的测试,只启用了一个zookeeper服务没启用zookeeper集群,但是和实际应用差不多。cat ../config/server1.propertiesnum.network.

#kafka#分布式#java
kafka 基础知识

kafka 的消息通过主题(类似文件夹)进行分类,消息以追加的方式写入分区(类似文件)分区消息:由于一个主题一般包含几个分区,因为无法在主题范围保证消息的顺序,但可以保证消息在单个分区内的顺序生产者:默认情况下生产者发送的消息会被均衡分布到所有分区,不过特殊情况下也会把消息写到特定分区消费者:消费者通过检查消息的偏移量来区分已经读取过的消息,并将最后读取的偏移量保存在zk 或者kafka 上、每个

#kafka#运维#linux
kafka 扩容

现在在用kafka集群有3个节点,即zk1、zk2、zk3,现需要将broker节点扩容至4个,以提供更高的数据处理能力。1.1 新扩容1个broker节点zk4 ,并部署kafka应用程序;我是虚拟机,全部在一台上跑的测试,只启用了一个zookeeper服务没启用zookeeper集群,但是和实际应用差不多。cat ../config/server1.propertiesnum.network.

#kafka#分布式#java
kafka 调整offset

背景说明kafka客户端程序异常导致消费积压,再恢复时遗留的历史消息太多,而追赶到最新消息需费时太久,无法贴合业务使用场景;和业务部门协商确定: 可以丢弃中间未消费的数据,将指定offset(指定消费组消费topic)调整到最新值;【kafka-消费堆积】告警时间: 2020.04.02 10:52:22主机名称: slhd1.op-paas.kafka001[主题] : heartbeat_sy

#kafka#分布式#java
到底了