今天想做一个58同城的爬虫，然后到页面分析一下链接，发现58同城的链接的有些参数是由js动态生成的，然后我就想偷懒了。（当然其实去js文件中找到生成式并不难），但我就是不想去找。然后就想到了selenium，各种工具都常拿出来溜溜，才能用的好！python + selenium + (head_less)Chrome,然后用BeautifulSoup解析数据，完成了。我们来一步步的看，首先...

用scrapy对接selenium可以实现返回渲染好的页面，但是selenium是阻塞式的，也就是说，它每次只能进行一次请求，这样就会比较慢，所以并不推荐这种方法，今天这样做，只是为了练习一下下载中间件的使用，如果真要提取渲染好的页面，还是是用scrapy的Splash插件比较好用scrapy对接selenium，必须用到现在中间件，我们知道，下载中间件可以对请求，响应或是错误进行处理。我...

重点在于CrawlSpider的学习！！！！！！！！！！！！！**通过前面的学习我们可以进行一些页面的简单自动话爬取，对于一些比较规则的网站，我们似乎可以用Spider类去应付，可是，对于一些较为复杂或者说链接的存放不规则的网站我们该怎么去爬取呢，接下来的爬虫就是要解决这个问题，而且还可以高度的自动化爬取链接和链接内容**CrawlSpider类，是建立爬虫的另外一个类。*（顺便说一下，我们可以继

这个是今天写的一个爬取猫眼电影top100的一个完整的代码# coding:utf-8import jsonimport requestsfrom bs4 importBeautifulSoupdef get_one_page(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6....

用函数式编程，编写第一个node.js的爬虫，目的是爬取笔趣看网站一部叫做元尊的小说代码如下：var fs = require("fs");var cheerio = require("cheerio");var charset = require("superagent-charset");var request = charset(r

应实习要求，在学node.js写爬虫，零开始。首先安装了一个node.js爬虫我安装了一个request库，这个比较奇怪，我全部要把库安装在C盘里面，以后要是想安装库先用npm install xxxx -g然后在D盘里面的nodejs文件的node_global文件夹找到这个库文件然后复制到C盘里面，我也不知道为什么？额！！还有别忘了，我写的js文件全部放在C盘的co...

如果你是看崔庆才的教学视频，那有什么问题可以进来看看。几乎每一个代码都有注释，因为今日头条的加载有了变化，所以视频中的代码不能运行# coding:utf-8from bs4 import BeautifulSoupimport requestsimport reimport jsonfrom time import ctimeimport threadingimport p...

我安装专业版的主要目的是可以快速的创建框架项目，如flask和django，至于更多的区别，有很多博客文章，我也不知道。就很容易的打包创建一个flask文件夹首先你要下载pycharm专业版。然后，看这个连接：https://mp.weixin.qq.com/s?__biz=MzI0OTc0MzAwNA==&mid=100000527&idx=1&s