前言需要用到自己成功登陆直播平台的请求头中的cookie信息找寻cookie以虎牙直播为例首先进入我的订阅，如下图所示点击重新载入在左侧找到myfollow，然后点击，接着目光看向右边的区域鼠标滚轮往下滑动，找到一个RequestsHeaders接下来看下图中蓝色框框圈起来的东西cookie就找到了把cookie: 后面的数据全部复制，如下图红圈代码import requestsfrom lxml

自己笔记本电脑在公司跑爬虫，然后下班了，我把爬虫先暂停，然后把电脑带回家。回家后我再接着跑爬虫，它不香吗

爬着爬着我的MongoDB就挂了

elem对象转为html字符串

前言以静态代理演示下方代码中的代理皆无效代码# @Time: 2021/7/4 12:02 下午import asyncioimport randomimport aiohttpfrom aiohttp import TCPConnectorusername = "账号"password = "密码"proxy_auth = aiohttp.BasicAuth(username, password

使用requests库抓取# -*- coding: utf-8 -*-import requestsimport reimport osclass LOLSpider:def __init__(self):"""定义一个User-Agent，伪装成浏览器"""self.headers = {...

python对redis的异步操作

前言当多个线程同时修改同一数据时，会导致最终的数据出现的不是正确的值所以出现了线程锁，即同一时刻只允许一个线程执行操作，这样可以确保数据的准确性示例代码# @Time: 2021/6/16 9:15import threadingimport timenum = 0# 多个线程操作的全局变量tname = lambda: threading.currentThread().name# 获取当前线程

python交互mongo，索引、更新、自增等