授权与合规声明
本文全部操作对象均为自建隔离环境与已获授权的目标,涉及安全测试或以他人系统为对象的环节,必须以取得合法授权为前提。未经授权的测试违反《中华人民共和国网络安全法》与《刑法》相关条款,须承担相应法律责任。本文只讲可复现的技术实操与工程落地,不含任何攻击步骤、利用载荷与绕过手法,请勿将文中任何内容用于非自有、未获授权的系统。

第1章 用户划走了,后端还在空转

用户在前端问了个长问题,看了两眼划走了,或者手滑关了页面。你以为请求没了,其实后端推理进程还在一字一顿地往外吐。GPU 在空转,钱在白白烧,并发一高还挤占别人的配额。这个浪费在长生成场景里尤其明显。

第2章 为什么默认断不掉

流式接口本质是服务端往一个长连接里持续推数据。前端关掉页面,TCP 连接可能半开,或者反向代理没把「对端已走」的信号转给推理循环。推理代码通常是一个「生成到结束」的循环,它只在自己跑完或报错时才停,根本不知道前端已经不在了。

第3章 把取消信号传到推理循环

完整链路是三段:

  1. 前端:用 AbortController 在用户离开或点取消时主动 abort 请求。
  2. 中间层:网关 / 反向代理检测到连接断开,向上游转发取消(如 WebSocket 的 close 事件、SSE 连接断开)。
  3. 后端:推理循环每生成一小段就检查一次取消信号,收到就退出生成、释放资源。

第4章 落地对照

环节手段注意
前端fetch 加 AbortControllerabort 后要吞掉取消引发的异常
WebSocketonclose 事件断线要清推理任务,别留孤儿
后端异步任务 cancel / 生成器退出取消后做资源回收,别只 break

第5章 实战:异步流式加取消

下面是一段思路示意,演示「每生成一段就检查取消信号」的写法。

# ⚠️ 代码待验证:以下为思路示意,异步取消的具体写法以你用的框架为准
import asyncio


async def stream_with_cancel(prompt: str, cancel_event: asyncio.Event):
    async for chunk in generate_stream(prompt):
        if cancel_event.is_set():
            break  # 前端已离开,及时停下
        yield chunk
    # 退出后释放连接、显存等

前端侧则在组件卸载或用户点击取消时调用 controller.abort(),把信号一路传上来。

配套资料:这一章讲到的实操要点,我整理成了可运行的示例与对照表,放在资料包里,扫码即可获取:

配套资料获取

第6章 几个容易踩的坑

  • 取消不是错误:别把「用户走了」当成系统异常去报告警,否则告警风暴。用一个独立的「客户端断开」计数就行了。
  • 资源要真释放:连接池、显存、临时文件,退出分支里都要清,否则积累成泄漏。
  • 部分框架要显式 drain:光 break 不够,按你用的版本验证生成器是否真的停。

第7章 什么场景必须做

  • 必须:长生成(摘要、长文)、按量计费、并发较高的对外服务。
  • 可省:内部短问答、一次性脚本。

配套资料:这一章讲到的实操要点,我整理成了可运行的示例与对照表,放在资料包里,扫码即可获取:

配套资料获取

附表 A:本文引用事实与出处对照表

事实出处本文位置
流式接口是长连接持续推数据,前端断开未必传到推理侧Web / 推理工程常识第2章
前端可用 AbortController 主动取消请求Fetch 标准,属公开 API第3章、第5章
取消分支需释放连接 / 显存等资源资源管理工程常识第6章

附表 B:术语速查表

术语含义
流式输出服务端逐段返回生成内容,而非一次返回
AbortController前端主动中止请求的标准 API
取消信号通知推理循环停止生成的事件

写在最后:这篇用到的资料

写这篇文章时,我把里面对应的实操示例和踩坑记录顺手整理了几份配套的东西:

  • 全套 AGI 大模型学习路线:从基础到实战的系统性路径,避免零散摸索
  • Claude Skills 全指南:把重复性工程动作沉淀成可复用技能
  • LangGraph+MCP 智能体实战视频:跟着敲一遍就能跑通的智能体项目

资料是我自己整理的,放在下面这个码上,扫码即可获取:

配套资料获取
Claude Skills 全指南
LangGraph+MCP 智能体实战视频目录

资料较多,建议先看「全套 AGI 大模型学习路线」,再挑一个实战项目跟练。

Logo

更多推荐