#scrapy爬虫源代码

#所报的错误全部

本来以为是缺少refer，然后就在settings里面添加了refer:https://github.com/login,发现不起作用
然后又在formrequest中添加了method=‘POST’,还是不行
后来发现所报的bug只有一行与我的源代码有关，“File “f:\Python\爬虫\爬虫学习\第二十三天2.14\github\github\spiders\gt.py”, line 36, in parse”，于是可以确定确定yield scrapy.FormRequest有错误。
看这个报错信息，好像是参数值中有一个参数取到 None 导致的，我们看下打印的参数信息中，发现 ga_id 是 None ，我们再修改一下，当 ga_id 为 None 时，传入“”试试。
然后运行通过。