(实战项目)新浪网分类资讯爬虫爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。效果演示图：items.pyimport scrapyimport sysreload(sys)sys.setdefaultencoding("utf-8")class SinaItem(scrapy.Item):# 大类的标题 和 urlparentTitle = scrapy.Fiel

对于登陆情况的处理1.1 使用表单登陆这种情况属于post请求，即先向服务器发送表单数据，服务器再将返回的cookie存入本地。data = {'data1':'XXXXX', 'data2':'XXXXX'}Requests：data为dict，jsonimport requestsresponse = requests.post(url=url, data=data)Urllib2：data为

程序员爱不释手的10款神级工具，有你所用的一款吗？一、WiresharkWireshark是广大黑客、网络攻城狮的最爱，极大的方便了我们抓取、分析网络数据包。二、VMwareVMware虚拟机，如果硬件资源有限，那么使用它就可以台电脑当N台电脑使用。三、MarkdownPadMarkdownPad是windows上最好用的Markdown编辑器也是广大博客主的最爱!最常见的格式Markdown选项

＃！/ usr / bin / env python＃encoding = utf-8汇入 要求进口 重导入 编解码器从 bs4 导入 BeautifulSoup从 openpyxl 导入 工作簿wb= 工作簿（）dest_filename='电影.xlsx'ws1=wb。积极的ws1。title=“电影top250”DOWNLOAD_URL='http://movie.douban.com/to