logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flume定制实战

flume是我2015年为前公司主导开发【统一日志平台】时采用的技术(主要技术栈:flume+ES+Redis+mongoBD+Kafka+Hadoop+Netty ),期间也积累了不少经验(挖坑、踩坑、填坑)。在我离开前,我们的日志平台数据量为8亿/天,高峰为8500万/小时、800万/5分钟。 flume agent单机压测15000/s数据量,未出现程序异常、资源占用过高与日志明显

#hadoop#flume
消息队列探秘-Kafka、RabbitMQ对比

适应场景featurescenarioKafkaRabbitMQ备注PUB-SUB 发布订阅模型√√推拉消费Consumer消费消息的动作方式。pullpush/pullpush更关注实时性。pull更关注消费者消费能力。延迟消费Producer产生一条消息后,并不希望立刻被消费掉。X√

#kafka
到底了