logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kafka运维实战 16 - kafka 分区重新分配【实战】

-bootstrap-server <bootstrap-server-list> # KRaft 控制器或 broker 的地址(必填)--broker-list <String: brokerlist> # "0,1,2" (与--topics-to-move-json-file 配合)[--command-config <config-file>] # 客户端配置文件(如认证信息)[--re

文章图片
#kafka#运维#分布式
Kafka运维实战 17 - kafka 分区副本从 1 增加到 3【实战】

创建,格式如下(以},},},},},配置说明replicas数组中,第一个元素为原副本(保持 leader 不变,减少迁移开销),后两个为新增副本的 broker ID。确保新增的 broker(如 1、2、3)均正常运行,且集群总 broker 数量 ≥ 3(否则无法分配 3 个副本)。log_dirs 用于指定每个副本存放的日志目录,默认用 “any” 表示由 Kafka 自动分配。

文章图片
#kafka#运维#分布式
Kafka运维实战 03 - Kafka 配置参数详解:ZooKeeper 模式与 KRaft 模式对比

ZooKeeper 模式是 Kafka 传统架构,依赖 ZooKeeper 集群管理元数据(如 Topic 信息、分区副本分配、broker 存活状态等)。broker 启动时向 ZooKeeper 注册自身信息;broker 通过 ZooKeeper 监听集群变化(如其他 broker 加入/退出);控制器(Controller)节点从 ZooKeeper 获取元数据并同步给其他 broker。

文章图片
#kafka#zookeeper#分布式
Kafka运维实战 09 - kafka 生产消息和消费消息用法【实战】

是 Kafka 提供的一个命令行工具,用于向 Kafka 主题发送消息(即生产消息)。它允许你在终端中手动输入消息,或从文件、其他命令的输出中读取消息并发送到 Kafka。以下是使用的基本命令格式:常用参数说明: 指定 Kafka broker 的地址(例如 ),用于建立初始连接。: 指定要发送消息的主题名称。: 设置额外的生产者配置,例如:: 启用键值对模式(需要配合使用)。: 指定键和值之间的

文章图片
#kafka#linq#分布式
ES集群最大分片限制报错处理

Elasticsearch集群因达到2000分片上限导致集成日志无法写入。解决方案包括:删除无用索引释放资源;临时提高集群最大分片限制;优化索引设计策略减少分片数量;检查分片分布情况。官方建议保持合理分片数量(20-25/GB堆内存),优先考虑优化索引设计而非单纯提高限制。

#elasticsearch#大数据#搜索引擎
到底了