登录社区云,与社区用户共同成长
邀请您加入社区
该用户还未填写简介
暂无可提供的服务
程序运行后,开始根据news.baidu.com抓取页面结果,通过OnHTML回调函数分析首页中的热点新闻标题及链接,并可不断地抓取更深层次的新链接进行访问,每个链接的访问结果我们可以通过OnHTML来进行分析,也可通过OnResponse来进行处理,例子中没有进一步展示深层链接的内容,有兴趣的朋友可以继续进一步研究。上面代码在开始处对Colly做了简单的初始化,增加UserAgent和域名限制,