logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

爬虫爬取微博评论--下--多页爬取(超详细教程,大学生不骗大学生)

上次我们已经学会了如何爬取单页的微博评论,但是如果评论过多,只爬取单页的评论是不够的,所以我们需要爬取多页的评论没看过之前的文章可以看一下。

文章图片
#爬虫#python#开发语言 +1
用python语言爬虫爬取微博评论--上--初步爬虫(超详细版,大学生不骗大学生)

但是我们发现这个并不是像我们想的一样,将网页的文本用文字的方式呈现,那么接下来我们要用到一个方法,让我们能够用文字的方式输出网页数据----->定义请求头。为什么要定义请求头,因为从网站的设置初衷,它是不想服务于我们的爬虫程序的,网站正常只想服务于客户的访问服务,那么我们要将我们的爬虫程序伪装成为正常的服务。

文章图片
#python#爬虫#开发语言 +1
用python语言爬虫爬取微博评论--上--初步爬虫(超详细版,大学生不骗大学生)

但是我们发现这个并不是像我们想的一样,将网页的文本用文字的方式呈现,那么接下来我们要用到一个方法,让我们能够用文字的方式输出网页数据----->定义请求头。为什么要定义请求头,因为从网站的设置初衷,它是不想服务于我们的爬虫程序的,网站正常只想服务于客户的访问服务,那么我们要将我们的爬虫程序伪装成为正常的服务。

文章图片
#python#爬虫#开发语言 +1
到底了