logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于Scrapy框架的Weibo爬虫

第八,打开wb.py编辑,设置主爬虫的逻辑,注意为什么使用deepcopy,如果不使用deepcopy复制当前微博item的其他数据,长微博的内容就会与微博id和用户名不匹配。第四,打开item.py编辑,因为我是测试,只抓取微博用户id账号、微博用户名和微博内容,其实通过m.weibo.cn的api可以获取很多字段,这里道理是一样的。第六,打开middlewares.py编辑,读取了cookie

文章图片
#scrapy#爬虫#python
Python:基于selenium的微博自动爬虫并导出为CSV文件

这是利用业余时间编写的,基于selenium的某社交平台关键字搜索结果全自动爬虫,支持自定义搜素关键字、搜索起始时间、爬取起始页数(以实现中断后接上次继续爬取)。

文章图片
#selenium#python#爬虫 +1
到底了