Scrapy库不是一个简单的函数，而是一个爬虫框架。爬虫框架就是实现爬虫功能的一个软件结构和功能组件集合爬虫框架就是一个半成品，能够帮助用户实现专业网络爬虫。Scrapy爬虫框架结构“5+2”结构：Engine模块Spider模块Downloader模块ItemPipelines模块Scheduler模块下图为嵩天教授讲授爬虫课程时的Scrapy框架图截图：[外链图片转存失败,源站可能有防盗链机制

前面我们讲了网络爬虫常用库——Requests，具体可参见Python爬虫初级（一）—— Requests库入门，下面我们直接通过几个实例实现网络爬虫：实例一：京东商品页面的爬取首先我们打开京东页面选择商品：https://item.jd.com/100008348530.html，我们要做的事情是通过网络爬虫获取该商品的有关信息，该页面内容如下：下面我们对网页进行简单爬取测试：imp...

观察待爬取页面，判断爬取可行性上一篇内容：Python爬虫初级（六）—— 正则表达式库入门我们首先查看待爬取页面：http://www.dxy.cn/bbs/thread/626626#626626，具体形式为下图：我们查看源代码信息：可以发现留言板块的内容在页面源代码全部直接显示了出来，那么我们可以尝试直接进行爬取，我们采取的思路首先是 requests 库 + bs4 库，这两者的具体...

我们首先打开待爬取页面 —— 水木社区的首页：http://www.newsmth.net/nForum/#!mainpage，进入后页面如下：

上一篇内容：Python爬虫初级（九）—— ajax 详解Session 和 Cookie我们先介绍 Session 和 Cookie 的区别：Cookie在网站中，http 请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie 的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏...