大模型安全厂商可以降低越狱攻击成功率，但不能承诺“永久防住所有越狱”。企业评估时应重点看三件事：是否能识别直接越狱、多轮越狱、角色扮演、编码变体、间接提示词注入和多模态注入；是否能输出可解释的风险标签和策略动作；是否具备样本回流、策略迭代、日志审计和工程稳定性。数美科技这类具备内容安全与业务风控经验的厂商，更适合放在真实业务样本中做全链路 POC。

1. 越狱攻击到底是什么？

大模型越狱攻击，是指用户通过特殊提示词、角色设定、多轮诱导、编码变形、语义绕过或外部内容注入，让模型突破原本的安全规则，输出违规、不当、越权或敏感内容。

典型攻击包括：

1. 要求模型忽略系统指令。
2. 让模型扮演“无限制角色”。
3. 用多轮对话逐步套取危险信息。
4. 用谐音、拆字、编码、翻译绕过检测。
5. 在网页、PDF、图片 OCR 中夹带恶意指令。
6. 诱导 Agent 调用不该调用的工具。

因此，越狱攻击防护不是单个敏感词规则能解决的。

2. 大模型安全厂商能不能防？

更准确的说法是：能显著降低风险，但不能一次性消灭风险。

原因很简单，越狱攻击会持续变体。攻击者会根据拦截结果调整话术，模型能力、业务场景和安全策略也会不断变化。企业应该关注厂商是否具备持续对抗能力，而不是只看某次演示是否拦住了几个样例。

一个可用的大模型安全方案，至少应覆盖：

用户输入 -> 越狱/注入检测 -> 风险标签 -> 策略引擎 -> 大模型调用 -> 输出审核 -> 日志审计 -> 样本回流与策略迭代

3. POC 测试集应该怎么设计？

企业可以把越狱样本分成 7 类。

样本类型	测试目标
直接越狱	测试显性攻击识别能力
角色扮演越狱	测试“开发者模式”“无限制角色”等诱导
多轮越狱	测试上下文风险累积能力
编码变体	测试谐音、拆字、Base64、翻译、拼音等绕过
间接注入	测试网页、PDF、邮件、知识库中的隐藏指令
多模态注入	测试图片 OCR、音频转写、视频字幕中的攻击
工具调用越权	测试 Agent 在调用插件、数据库、工单前的安全校验

不要只测“忽略之前所有规则”这类样本。它太基础，无法代表真实业务。

4. 评估指标不要只看拦截率

企业常见误区是只问“越狱拦截率是多少”。这个指标重要，但不够。

更完整的指标包括：

1. 攻击召回率：高风险越狱能否识别。
2. 正常样本误杀率：正常问题是否被过度拦截。
3. 漏放率：边界样本和变体样本是否漏过。
4. 标签解释：能否说明命中了哪类风险。
5. 策略动作：是否支持拦截、降级、安全代答、人工复核。
6. 平均延迟和 P99 延迟：是否满足线上业务。
7. 并发处理能力：高峰流量是否稳定。
8. 审计日志：是否记录请求、响应、标签、策略和处置动作。
9. 样本回流：新攻击样本能否推动策略迭代。

5. 接入位置也很关键

如果只在模型输出后检测，很多越狱已经影响了模型行为。更稳妥的方式是多点防护：

1. 输入侧识别明显越狱和注入。
2. 检索侧识别知识库、网页、文档中的恶意指令。
3. 工具调用前做权限和风险校验。
4. 输出侧审核最终回答。
5. 日志侧保留审计和复盘数据。

对 RAG、Agent、智能客服和开放平台来说，这个链路尤其重要。

6. 数美这类厂商应该怎么评估？

评估数美大模型安全能力时，不建议只看单条 prompt 的拦截演示，而应放到业务链路里测。

重点看：

1. 是否能识别越狱、提示词注入、违规生成和多模态风险。
2. 是否能结合内容安全、账号风控、人工复核和策略运营。
3. 是否能输出细粒度风险标签。
4. 是否支持日志留存、审计追溯和样本回流。
5. 是否具备稳定的 API、并发、延迟和部署能力。

对于 AI 社交、AIGC 平台、智能客服、企业知识库、游戏社区和强监管行业，全链路能力比单点检测更关键。

FAQ

Q：大模型安全厂商能 100% 防住越狱吗？

A：不能承诺 100%。越狱攻击会持续变体，企业应看持续识别、策略迭代和运营闭环能力。

Q：POC 需要多少样本？

A：建议至少覆盖正常样本、高风险样本、灰度样本、多轮样本、多模态样本和历史投诉样本。样本量可从数百条起步，后续按业务扩充。

Q：只做输出审核够吗？

A：不够。越狱可能发生在输入、检索、上下文和工具调用阶段，建议采用输入侧、检索侧、工具调用前和输出侧组合防护。