写文章
- @weixin_38882387
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
使用 Filebeat 监听本地日志文件并发送到 kafka 队列
文章目录前言一、Filebeat 是什么？二、使用步骤1.安装 Filebeat2.编辑配置文件 filebeat.yml总结前言轻量型日志采集器：Filebeat 为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。一、Filebeat 是什么？如官网描述，Filebeat 是一款轻量型日志采集工具，我们这里用于将监听本地文件并转发至 kafka 集群。优势：1、性能稳健，不
提高 Elasticsearch 写入速度（记一次线上 Kafka 消息积压问题处理）
问题概述线上集群告警，消费 Kafka 消息写入 Elasticsearch ，写入速度慢，产生消息积压问题。解决思路临时去掉 ES 副本，解决紧急问题，无法从根本解决提高 Kafka 消费速度提高 ES 写入速度，使用 ES bulk api，批量写入数据关于批量写入的最佳值大小问题整个批量请求都需要由接收到请求的节点加载到内存中，因此该请求越大，其他请求所能获得的内存就越少。 批量请求的大小有
Kafka __consumer_offsets 占用磁盘空间过大处理
kafka 位移分区清理策略
Kafka 集群增加节点（Broker）
kafka 扩容
ZooKeeper 的监控
公司有多套 Kafka 集群，Kafka 依赖 ZooKeeper 提供分布式协调服务，研究一下关于 ZooKeeper 的监控指标查看。四字监控命令# 输入echo conf | nc localhost 2181# 输出clientPort=2181secureClientPort=-1# zk 用于保存内存数据库的快照的目录，除非设置了dataLogDir，否则这个目录也用来保存更新数据库的
到底了