scrapy-redsi分布式1.什么分布式？由多个计算机共同完成一个任务的模式。多个计算机共同完成，可以提高效率。问题：如何让多个计算机协同处理一件事？2.scrapy-redis涉及的就是爬虫项目的分布式部署。我们把一个相同的爬虫项目部署到多个机器上，让多个机器同时爬取，增加爬取效率。分布式思路：1.在存入数据的时候，我们可以规定一台电脑是主机，所有人都链接这个电脑数据库存入数...

User-Agent其实就是你的浏览器信息。是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；　　在爬取网页的时候经常换浏览器就会降低被封的概率。也就是要改变User-Agent的值。生成随机的User-Agent：首先　在环境中　ｐｉｐ　　ｉｎｓｔａｌｌ　fa...