JLiteSpiderA lite distributed Java spider framework.这是一个轻量级的分布式java爬虫框架特点这是一个强大，但又轻量级的分布式爬虫框架。jlitespider天生具有分布式的特点，各个worker之间需要通过一个或者多个消息队列来连接。消息队列我的选择是rabbitmq。worker和消息之间可以是一对一，一对多，多对一或多对多的关系，这些都可以