from selenium import webdriverimport csvimport threadingimport timefrom lxml import etreefrom queue import Queueclass BaiduSpider(object):def __init__(self):self.url = 'https://w...

前面试过使用selenium爬取拉勾网，但是效率特别慢，今天试了一下请求数据传输接口，不需要多线程速度就特别快了。主要实现原理,写个伪代码：while True：1.实例化session随机添加代理UA和IP2.建立与拉钩网的持续会话3.post请求数据传输API相当于每次重新请求接口之前，重新实例化一个session。提交的form data 里面提交的数据，pn就是页...