在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：1.在scrapy中的使用第一步pip install fake-useragent第二步：在middlewares中配置下载中间件。class RandomUserAgentMiddleware(object):...