今天用scrapy框架抓取淘宝信息，因为淘宝的页面都是一个网关程序加载实现的，所以可以说每个页面的信息会随着每一次的刷新有所不同。当然这个我只是普及一下，跟我们今天的抓取关系不大首先今天的抓取主要的内容是分析ajax请求，然后构造请求。实现的话我用的是scrapy框架，但是用requests也是可以的，只不过抓取的会慢一点而已！所以着重讲的是分析ajax请求，OK？好了，废话有点多！今...

用函数式编程，编写第一个node.js的爬虫，目的是爬取笔趣看网站一部叫做元尊的小说代码如下：var fs = require("fs");var cheerio = require("cheerio");var charset = require("superagent-charset");var request = charset(r

应实习要求，在学node.js写爬虫，零开始。首先安装了一个node.js爬虫我安装了一个request库，这个比较奇怪，我全部要把库安装在C盘里面，以后要是想安装库先用npm install xxxx -g然后在D盘里面的nodejs文件的node_global文件夹找到这个库文件然后复制到C盘里面，我也不知道为什么？额！！还有别忘了，我写的js文件全部放在C盘的co...

如果你是看崔庆才的教学视频，那有什么问题可以进来看看。几乎每一个代码都有注释，因为今日头条的加载有了变化，所以视频中的代码不能运行# coding:utf-8from bs4 import BeautifulSoupimport requestsimport reimport jsonfrom time import ctimeimport threadingimport p...

我安装专业版的主要目的是可以快速的创建框架项目，如flask和django，至于更多的区别，有很多博客文章，我也不知道。就很容易的打包创建一个flask文件夹首先你要下载pycharm专业版。然后，看这个连接：https://mp.weixin.qq.com/s?__biz=MzI0OTc0MzAwNA==&mid=100000527&idx=1&s