logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

利用爬虫获取免费IP代理

项目目标通过爬虫获取“西拉代理”(http://www.xiladaili.com)上的高匿代理,并储存至一个列表。项目分析首先对网页进行观察,主体内容如下图所示。不但指明了代理IP、协议类型,还有存活时间、打分这些数据。有需要的朋友,可以根据存活时间、打分来有选择性地挑选一些代理,这样获得的代理更加稳定。我仅展示最朴素的方法,即爬取网页上的所有代理。网页下方有翻页按钮,点击不同页码,可以看到网页

#selenium#python#爬虫
到底了