logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

requests模块bug之内存泄漏问题

大胆猜想,步步验证,就可以初步定位内存溢出位置。内存溢出的异常和其他爬虫中遇到的异常最大的区别就是无法被捕捉,你可以捕捉服务器返回数据异常、可以捕捉获取代理异常、可以捕捉验证码未通过异常、可以捕捉请求异常,但是你无法捕捉内存溢出异常。内存泄漏导致的报错不容易看出来,开发环境中一般没有人太关注内存,所以情况就是请求数据量大的前提下,项目在本地开发环境运行会报错其他错误导致项目停止运行。生产环境中,如

文章图片
#python#爬虫
到底了