1. 简介scrapy流程scrapy-redisscrapy是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取。组件Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进