最近在做并发，服务器卡死了。感觉是pymongo未能完全close掉和mongodb创建的tcp连接，并且在mongo连接未自动释放前进行高频连接，导致连接数爆满造成的。所以对建立的连接进行清除，以此记录并做分享。查看MongoDB的连接信息db.serverStatus().connectionscurrent 当前连接数available 可用连接数connection.totalCreate

猿人学爬虫比赛第九题：《动态cookie-困难版》地址： http://match.yuanrenxue.com/match/9确实有点东西，我打开控制台，用chrome调试页面时，刷新页面后一直在debug，浏览器都搞崩了。开无痕页面，重新打开控制台，然后在Sources 点击 Deactivate breakpoints，点击后会变成 Activate breakpoints。接下来，再抓包看

具体目录位置直接给出：/data/data/com.tencent.mm/MicroMsg/…/appbrand/pkg/如果不好找的话，可以直接通过搜索来进行检索。下面 .wxapkg 类型的文件，这些就是微信小程序的包...

我们先看一下斗鱼直播的弹幕：大家可以发现右下角在一直不断变化。轮询和WebSocket：Web 领域中，用于实现数据’实时’更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到 ‘实时’ 的效果，虽然看起来数据像是实时更新的，但实际上它有一定的时间间隔，并不是真正的实时更新。轮询通常采用 拉 模式，由客户端主动从服务端拉取...

本文就是大致讲解下使用selenium进行这个滑块验证码的拖动问题。临时起意，看到了中国国际航空公司的官网，想试着采集下航班信息，发现官网是有不少难度的，操作也比较麻烦。于是就用 fiddler 找了下国航的app接口。https://m.airchina.com.cn/ac/于是我就直接开始采用selenium来进行页面信息采集。我们要请求的接口是：https://m.a...

本章知识点1、Centos下python3环境的部署2、Python uwsgi3、Python uwsgi+nginx部署4、mysql主从备份介绍5、Linux下的mysql安装6、基于mysql的Django读写分离知识点讲解1、Centos下python3环境的部署Yum源，就是我们的安装源。检测yum是否完好Yum list当遇到以下问题Yum 进程没有关闭错...

几款开源的wordpress二次元主题，演示地址可到Github查看。

本书以爬虫逆向方向的相关技术和岗位要求进行撰写，结合作者多年工作经验，总结了爬虫的架构体系、主流框架和未来发展。书中包括各种自动化工具、抓包工具、逆向工具的使用。核心内容以Web Js逆向、安卓逆向、小程序逆向为主，结合三十个实战案例进行分析，内容从易到难一应俱全，并附有视频教程。还对主流的反爬虫技术进行了讲解，包括传输协议、验证码体系、字符集映射、行为和指纹等。本书是目前全网最为详细和最具有深度

大数据时代下，爬虫技术逐渐成为一套完整的系统性工程技术，涉及的知识面广，平台多，技术越来越多样化，对抗性也日益显著。大家可以参考一下学习路线，看看自己需要对哪些知识进行补充。爬虫逆向学习路线学习路线总结系统提高加密算法特征和实现传输协议和通讯协议各种验证码识别方法个人汇总专栏爬虫逆向社区学习路线总结基础学习路线总结：主语言基础语法常用网络请求库、解析库常用抓包工具自动化工具库流行采集框架多进程、多

Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架，采用了scrapy的设计模式，参考了github上一些开源框架的处理逻辑。github: https://github.com/lixi5338619/asyncpypypi:https://pypi.org/project/asyncpy/安装需要的环境python版本需要 >=3.6依赖包： [ ‘lxml