PC端的阿里云盘搜索工具

一.概述:分布式爬虫分布式爬虫:多台电脑一起爬取数据单机爬虫:一台电脑自己爬取数据分布式爬虫的优点:1.充分利用多台机器的带宽加速爬取;2.充分利用多台机子的IP来爬取,总而言之,十个人干活肯定比一个人干活来的快和好那么,当同一个爬虫程序在多台电脑上同步爬取数据,如何保证A电脑爬取的数据,在B电脑上不会重复爬取.这就需要统一的状态的管理器(redis)来统一管理,主要承担request的队列的调度