问题描述在用spark streaming程序消费kafka的数据时，遇到了一个神奇的现象：同样的数据量、相似的数据，在消费时，有些批次的数据在做map操作时神奇的多了40多秒，具体看下面的数据：在map操作时，有些是几秒，有些稳稳的是41s！如果是偶然出现还好，但是，大部分的作业都是在map时花了刚好41s。这就很神奇了。1.map:2s2.map:41s3.map:0.8s4.map:41s5

tcpdump和wireshark的简单使用

复制虚拟机后无法上网的解决办法

最近在用spark消费kafka数据时，在集群上跑着跑着程序就挂掉了。报的错误是Could not initialize class org.xerial.snappy.Snappy在网上查了下，报错的原因是snappy将.so文件解压到了/tmp目录下，如果/tmp目录因为种种原因撑爆了，那就gg了。This is generally caused by by snappy librar...