登录链接：https://yunpan.360.cn/mindex/login这是一个md5 加密算法，直接使用 md5加密即可实现本文讲解的是如何抠出js，运行代码第一部：抓包如图　　　　第二步：调试，打断点；　　　　第三步：找到js，扣出来；　　　　第四部：运行js文件；　　...

多进程 Multiprocessing 模块Process 类用来描述一个进程对象。创建子进程的时候，只需要传入一个执行函数和函数的参数即可完成 Process 示例的创建。star() 方法启动进程，join() 方法实现进程间的同步，等待所有进程退出。close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞。multiprocessing....

#-*-coding:utf-8-*-from common.contest import *import urllibdef spider():song_types = ['新歌','热歌','中国好声音','经典老歌','电视剧','广场舞','欧美','轻音乐','DJ 舞曲','80后','网络歌曲','劲爆','儿歌','纯音乐','粤语','民...

今天要聊的就是在爬虫遇到验证码，如何去解决。　　1.前言：关于验证码，我觉得是很low逼的技术，但是很多面试官都会问到如何解决验证码，好像是能识别验证的就代表了爬虫工程师的技术很牛逼，相反，爬虫工程师就是菜鸟。我觉得以此来评价爬虫工程师的水平高低，是非常不合理的。　　2. 网站为何要用验证码？　　　　网站担心别人暴力破解刷票、论坛灌水、刷页，防止爬虫爬取数据，防止别人利...

在爬取国外的某个网站的时候，刚开始他们是封ip，优化好ip池，准备大展身手的时候，数据顺利的爬取完毕后，发现数据有重复的。然后研究了一下，最后的原因是他们的后台发现是爬虫以后，直接给抛出假的数据。上证据：解决办法：每个ip的访问次数尽量的少，尽量用多的ip抓取，抓取速度尽量的慢一些。转载于:https://w...

# coding:utf-8import jsonimport redisimport timeimport requestssession = requests.session()import logging.handlersimport pickleimport sysimport reimport datetimefrom bs4...

1. 问题描述在做爬虫的时候，数据量很大，大约有五百百万条数据，假设有个字段是conmany_name（拍卖公司名称）,我们现在需要从五百万条数据里面查找出来五十家拍卖公司，　　并且要求字段 time（时间） 大于7月一号，小于10月31号。2. 问题解决我们首先想到的解决办法是添加索引，对拍卖公司字段添加索引，但是因为日期是大于7月1...

==UserDict 模块==``UserDict`` 模块包含了一个可继承的字典类 (事实上是对内建字典类型的 Python 封装).[Example 2-15 #eg-2-15] 展示了一个增强的字典类, 允许对字典使用 "加/+"操作并提供了接受关键字参数的构造函数.====Example 2-15. 使用 UserDict 模块====[eg...