flume 1.9 版本更新个人见解关心的几个点Flume环境变量支持float或double高版本kafka支持与指标完善安全相关的几点改进总体上这个版本并没有带来太核心的变化，老版本用户可以不考虑升级。官方说明(翻译)** 新特性[FLUME-2071] - Flume环境变量不支持float或double的配置值.[FLUME-2442] - Flume配置中提供明文...

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性:- NIO- 磁盘顺序读写- Queue数据结构的极致使用- 分区提高并发- 零拷贝提高效率- 异步刷盘- 压缩提高数据传输效率

概要在大数据时代，数据研发人员总是想把各类数据采集到我们的数据仓库。最典型的方案是日志收集方案： flume采集文件，转发到kafka，再使用storm写到hdfs。但是实际场景中，我们的数据源不止文件，还有mysql这类db数据。众所周知，mysql是可以开启binlog的，也就是说我们对db的每个操作都可以通过binlog解析得到。所以我们实时解析mysql的binlog文件，即可实时...