具体题目详见  http://www.tuicool.com/articles/eYRZBr                    http://noops.me/?p=1154一、linux基础1)linux系统中如何获取pid为100的进程所监听的tcp端口，请给出详细命令？【答】方法一：

flume 1.9 版本更新个人见解关心的几个点Flume环境变量支持float或double高版本kafka支持与指标完善安全相关的几点改进总体上这个版本并没有带来太核心的变化，老版本用户可以不考虑升级。官方说明(翻译)** 新特性[FLUME-2071] - Flume环境变量不支持float或double的配置值.[FLUME-2442] - Flume配置中提供明文...

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性:- NIO- 磁盘顺序读写- Queue数据结构的极致使用- 分区提高并发- 零拷贝提高效率- 异步刷盘- 压缩提高数据传输效率

概要在大数据时代，数据研发人员总是想把各类数据采集到我们的数据仓库。最典型的方案是日志收集方案： flume采集文件，转发到kafka，再使用storm写到hdfs。但是实际场景中，我们的数据源不止文件，还有mysql这类db数据。众所周知，mysql是可以开启binlog的，也就是说我们对db的每个操作都可以通过binlog解析得到。所以我们实时解析mysql的binlog文件，即可实时...

简介最近想梳理下进程相关的知识点，第一篇先谈下进程间通信的知识吧。为什么要进程间通信数据传输，如A进程需要传一些参数到B进程事件通知，如A进程告知B进程，你需要停止运行进程间的分工协作，如A进程告诉B进程，你可以做xx了数据的共享，如AB进程同时对一块数据处理进程间通信的方式管道消息队列信号锁与信号灯共享内存套接字进程间通信的各种方法，叫法、分类可能不同，但是实际上大致也就是