授权与合规声明
本文全部操作对象均为自建隔离环境与已获授权的目标，涉及安全测试或以他人系统为对象的环节，必须以取得合法授权为前提。未经授权的测试违反《中华人民共和国网络安全法》与《刑法》相关条款，须承担相应法律责任。本文只讲可复现的技术实操与工程落地，不含任何攻击步骤、利用载荷与绕过手法，请勿将文中任何内容用于非自有、未获授权的系统。

第1章 为什么 JSON 解析总在半夜崩

很多同学第一次把大模型接进业务管线，都会在下游解析那一步踩坑。日志里常见的报错是 Expecting property name enclosed in double quotes 或者 Extra data，意思很直白：模型吐出来的根本不是一段合法 JSON。

根因通常是三件事叠在一起：

• 前后多了废话：模型在 JSON 前面补了一句「好的，这是结果：」，后面又加了一句「希望对你有帮助」。
• 被截断在半截字符串：长输出撞到上下文窗口上限，最后一个字段停在 "summary": "用户希望上传 就断了。
• 混进了非法字符：数组里塞了注释、多了 trailing comma、字段名没加引号。

这些都不是偶发。temperature 大于 0 时采样本身就有随机性，长文本又更容易触发截断，所以「先生成再正则清洗」本质上是个补丁——它能救一部分，但救不了全部，而且每次重试都在烧 token、加延迟。

第2章 约束解码到底是什么

约束解码（constrained decoding）的思路是：在每一步 token 采样之前，先用文法（grammar）算出「合法的下一个 token 集合」，把不合法 token 的概率直接置零。模型根本就没机会吐出非法字符，输出从出生起就符合你给的 schema。

它和后处理清洗的区别是「事前不让错」与「事后改错」：清洗是模型随便生成，你再去修；约束解码是模型在生成的那一刻就被文法框住了。

它和 few-shot 约束也不同。few-shot 是在提示里给几个样例，属于软约束，模型高兴了照做、不高兴就跑偏；约束解码是硬约束，跑偏这件事在机制上就不发生。

第3章 三种常见落地形态

形态	约束粒度	上手成本	灵活性
JSON Schema 约束	字段类型、必填、枚举	低，声明即生效	中
正则 / CFG	精确字符级规则	中，要写文法	高
领域专用（SQL、函数参数）	特定语法树	高，需定制	中

JSON Schema 适合绝大多数「抽成结构化字段」的场景；正则或上下文无关文法（CFG）适合日志解析、DSL 生成这类格式固定的任务；领域专用则是把约束直接对齐到某个语言的语法。

第4章 工具怎么选

工具	是否改采样	流式支持	复杂 schema
outlines / guidance	是，生成即合法	视实现	支持
推理框架 JSON mode	是	通常支持	支持
函数调用（function calling）	是	支持	支持

如果你在 Python 侧自己搭管线，outlines 这类库把「定义 schema → 生成合法对象」做成了一步；如果你直接用主流推理框架或云厂商接口，它们大多提供了 JSON mode 或 function calling，本质也是把约束交给框架完成。选型时重点看两件事：要不要流式输出、schema 有多复杂。

第5章 实战：用 outlines 生成合法 JSON

下面是一段思路示意，演示「声明结构 → 生成即合法」的写法。

# ⚠️ 代码待验证：outlines 不同版本 API 有差异，以官方文档为准
import outlines
from outlines import models, generate

model = models.transformers("meta-llama/Llama-3-8B-Instruct")

schema = {
    "type": "object",
    "properties": {
        "summary": {"type": "string"},
        "tags": {"type": "array", "items": {"type": "string"}},
    },
    "required": ["summary", "tags"],
}

generator = generate.json(model, schema)
text = generator("把下面这段需求总结成摘要和标签：用户希望上传 PDF 后自动生成问答")
print(text)

这段代码里，模型吐出的 text 一定是一个能通过 json.loads 的对象，因为它在 token 级别就被 schema 框住了。

配套资料：这一章讲到的实操要点，我整理成了可运行的示例与对照表，放在资料包里，扫码即可获取：

第6章 代价与边界

约束解码不是免费午餐。每一步多算一次文法、裁剪一次候选，理论上有额外开销；但因为它几乎消灭了「生成失败 → 重试」的回路，整体延迟和成本往往是净下降的（具体数值取决于你的输出长度和重试率，建议用自己的流量实测，本文不给出通用数字）。

另一面是灵活性下降：非常规、半结构化的格式更难约束；流式输出的支持程度也随实现不同而有差异，落地前要在你实际用的版本上验证。

第7章 什么时候该上约束解码

• 该用：对外 API、批处理任务、要落库的结构化抽取。这些场景要的是「稳定可解析」，多一次约束的代价可以接受。
• 可不用：内部探索、人类直接阅读的生成内容。人能容忍一点格式瑕疵，没必要为合规牺牲表达的灵活。

配套资料：这一章讲到的实操要点，我整理成了可运行的示例与对照表，放在资料包里，扫码即可获取：

附表 A：本文引用事实与出处对照表

事实	出处	本文位置
约束解码通过在采样前裁剪非法 token 保证输出合法	公开技术资料（outlines / guidance 文档）	第2章
主流推理框架普遍提供 JSON mode 或 function calling 形式的输出约束	各框架官方文档，建议以实际版本为准	第4章
outlines 不同版本 API 存在变动	项目仓库 release notes（待验证具体版本）	第5章

附表 B：术语速查表

术语	含义
约束解码	在 token 采样前用文法限制候选集合，使输出天然合法
JSON Schema	描述 JSON 结构的声明式规范
CFG	上下文无关文法，可精确描述字符级规则
few-shot 约束	在提示里给样例的软约束，无强制力

---

写在最后：这篇用到的资料

写这篇文章时，我把里面对应的实操示例和踩坑记录顺手整理了几份配套的东西：

• 全套 AGI 大模型学习路线：从基础到实战的系统性路径，避免零散摸索
• Claude Skills 全指南：把重复性工程动作沉淀成可复用技能
• LangGraph+MCP 智能体实战视频：跟着敲一遍就能跑通的智能体项目

资料是我自己整理的，放在下面这个码上，扫码即可获取：

资料较多，建议先看「全套 AGI 大模型学习路线」，再挑一个实战项目跟练。