📊 今日飙升榜（数据截至 11-04）：上榜 13 个仓库 · 最快 +3791 star/日 · 完整榜单与各仓库 star 趋势见 open-repo.com

你让 agent 去把一个文档站拉下来喂知识库：requests 拿回来一页 JS 骨架，换无头浏览器又被 Cloudflare 的转圈页拦住，好容易过了，登录态丢了、验证码弹了，agent 干瞪眼。今天全榜日增第二快、Python 项目里最快的一个，就是冲着这一串堵点来的——爬虫框架 Scrapling，单日 +1658 star、累计 9.5 万（截至 11 月 4 日），在榜已经 30 天。

Scrapling 在 open-repo.com 的详情页：star 趋势与统计卡（数据截至 11-04）

## 从单个请求到整站抓取，一个库全包

Scrapling 把爬虫的四层活压进了一个库。抓取层：快 HTTP 请求加隐身浏览器，JavaScript 渲染、Cloudflare Turnstile 拦截页处理、可复用的持久会话；解析层：CSS、XPath、正则之外还有自适应元素追踪——页面结构变了还能按"相似元素"找回目标；规模化层：Scrapy 式的 Spider 框架，异步并发、代理轮换、自动调速、断点续爬、流式输出一应俱全；输出层：一行 page.markdown() 把任意页面压成干净的 Markdown，官方文档明确说这是给 RAG 准备的。文档配了十种语言，含中文 README，上手门槛不高。

## 爆的推力：v0.5 把"开门钥匙"递给了 agent

真正让它这几天再冲一波的，是 10 月 17 日的 v0.5。官方更新日志写明：重做的 MCP server"能解决它遇到的几乎任何验证码"。这不是库作者顺手加个接口，而是把整套爬虫能力挂到了 agent 的工具带上——MCP 文档列了十六个工具：一次性抓取和会话式抓取分开，agent 可以开一个浏览器会话按序填表、点击、滚动、敲键盘、处理弹窗；能拿到带角色名和坐标的页面快照来规划动作；能执行自定义 JavaScript、截图、翻看背后的网络请求；还能保存和复用浏览器登录态，穿透 Shadow DOM 操作里面的元素。

省 token 的细节也做进去了：浏览器工具自动拦掉约 3500 个广告和追踪域名，隐藏元素、零宽字符这类可能被用来做提示注入的内容会被自动清洗。从 8 月底重做 MCP，到 v0.5 再加码，作者的路线很清楚：agent 是第一等公民，不是附加题。安装也直白——pip install "scrapling[ai]" 之后跑一次 scrapling install 装浏览器依赖，Docker 镜像现成。

open-repo.com 首页：当日飙升榜快照（数据截至 11-04）

## 上手前，两个坑先绕开

第一，v0.5 是大版本，官方明说带来大量破坏性变更，fetcher 和 MCP 的接口都有改动，老项目升级前先过一遍迁移指南，别裸升。第二，MCP 的 HTTP 传输默认只绑本机还要求鉴权（--auth-token 或环境变量），这是有意为之的安全设计；真要开放到网络，自己把令牌管好。另外合规边界自己划：框架提供 robots_txt_obey 可选开关和 AutoThrottle 自动限速，用不用在你——"能过"不等于"该过"。

Scrapling 仓库主页：定位一句话讲清——from a single request to a full-scale crawl（数据截至 11-04）

**一个判断：爬虫框架的下一条分水岭，是 agent 能不能自己开门。**9.5 万 star 说明"库"这一仗 Scrapling 已经赢了；v0.5 这波是在把护城河修到 agent 侧——别的框架给你钓鱼竿，它把整间工具房连钥匙一起递出去。风险同样直白：验证码对抗是一场没有终点的猫鼠游戏，各网站的服务条款也不会因为你是 agent 就网开一面。工具到位之后，边界感才是稀缺品。

你愿意把带着登录态的浏览器会话直接交给 agent，让它自己去过验证码抓数据吗？评论区聊聊你的底线划在哪。