背景说明这段时间需要用到scrapy来获取一些数据，其中涉及到多个任务，之间对scrapy不太熟悉，于是一个任务一个scrapy，感觉对复用方面很不友好，于是我们在想，怎么在一个scrapy project中搞多个spider, 这样对各方面的复用会好很多.系统使用了redis,和kafka,代理逻辑, 还有散落在很多代码里的log一般这种抽象，我会采用策略模式来做，同时兼顾单例，根据fl...

kafka 的默认配置比较简单，但想把其端口暴露给外网（指定端口），则有一些额外的注意情况kafka 的版本，0.8和0.10 的配置不同，这里以0.10.0.0 为主,没有用集群，一台机做测试zookeeper安装与启动kafka 的安装包里自带有zookeeper,不过这里还是自行下载.这里采用3.4.8版本下载及安装请参考http://zookeeper.ap...