
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
《实战:用 Python 异步爬虫抓取整本小说,我是如何解决 Cloudflare 1015 限流的》
最近在学习 Python 的异步编程,想找个实际的项目来练手。正好平时喜欢看小说,就决定用 httpx + asyncio 写一个异步爬虫,把 《明朝那些事》 全本抓取下来,保存到本地离线阅读。本以为很快就能搞定,没想到刚上线跑了没几秒,IP 就被暂时封禁了。1、并发不等于越快越好。异步让请求更快,但也更容易触发反爬,必须学会主动"限速"。2、调参过程比结果更重要。从报错到排查再到逐步调优,这才是
到底了







