pip install scrapy-fake-useragentDOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,'scrapy_fake_us

这里就用xpath提取数据就行，但要注意一点就是京东页面跳转有时候会出现数据加载失败，导致数据无法更新，此时要分别定位最上面和最下面的两个重试按钮并点击。每一页的数据可能会爬得不是很全，会少那么几个。那是因为是网站的问题，会有几个商品的数据一直会加载不出来。标题和评论我用了函数式写法，string(.)是获取该标签写的所有内容，因为有些内容不在同一个标签里。原理就是执行JavaScript模拟鼠标

pip install scrapy-fake-useragentDOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,'scrapy_fake_us