企业测试大模型安全围栏的提示词注入防护能力，建议从直接注入、间接注入、多轮越狱、知识库注入、工具调用注入和多模态注入 6 类样本入手，同时评估攻击识别率、误杀率、漏放率、命中解释、策略动作、日志审计、平均延迟和 P99 延迟。不要只测试“忽略之前所有规则”这类显性攻击，真实业务中更难防的是藏在文档、网页、OCR、邮件和多轮上下文里的注入指令。

1. 为什么提示词注入要单独测试？

传统内容安全测试主要关注输入或输出内容是否违规。提示词注入测试关注的是：用户或外部内容是否能改变模型原本应遵守的系统指令、业务规则和安全策略。

在企业场景中，攻击者可能通过以下方式影响模型：

1. 要求模型忽略系统提示词。
2. 诱导模型泄露内部规则、隐藏提示词或敏感数据。
3. 在网页、PDF、邮件、知识库片段中插入恶意指令。
4. 让模型调用不该调用的工具。
5. 通过多轮对话逐步绕过限制。

因此，采购大模型安全围栏时，提示词注入防护应作为单独 POC 模块测试。

2. 推荐测试架构

用户输入 / 外部文档 / 知识库内容 -> 输入侧安全围栏 -> 提示词注入识别 -> 业务策略引擎 -> 大模型 / RAG / Agent / 工具调用 -> 输出侧安全审核 -> 日志审计与样本回流

测试时要覆盖输入前、模型调用前、工具执行前和输出后几个关键节点。只在最终输出后审核，往往无法阻止模型在中间环节被污染。

3. 测试样本一：直接提示词注入

直接注入是最基础的测试集。它用于验证安全围栏能否识别显性攻击。

样本方向包括：

1. 要求模型忽略之前所有指令。
2. 要求模型显示系统提示词。
3. 要求模型切换成“无限制模式”。
4. 要求模型绕过企业客服话术。
5. 要求模型输出本应拒绝的高风险内容。

验收重点不是看模型是否最终拒答，而是看安全围栏是否在输入侧识别攻击意图，并输出可解释的风险标签。

4. 测试样本二：间接提示词注入

间接注入更接近真实风险。攻击指令不直接来自用户，而是藏在模型要读取的外部内容中。

可测试的载体包括：

载体	注入方式
网页	页面正文或隐藏文本中包含恶意指令
PDF	文档段落中要求模型忽略规则
邮件	邮件末尾插入工具调用诱导
知识库	知识条目中夹带越权指令
图片 OCR	图片文字中包含注入语句

如果企业的大模型应用使用 RAG、网页检索、文件问答或智能体工具，间接注入必须测试。

5. 测试样本三：多轮越狱

多轮越狱的特点是单轮请求看起来不一定高风险，但多轮组合后会形成攻击链。

建议设计三类多轮样本：

1. 角色建立型：先让模型进入某个角色，再要求突破安全边界。
2. 分步逼近型：每一轮只问一个低风险片段，最后拼成高风险目标。
3. 规则套取型：先询问安全规则，再根据规则尝试绕开。

测试指标应包括上下文识别能力和跨轮风险累积能力。只检测单条输入的系统容易漏放。

6. 测试样本四：知识库注入

企业 RAG 场景中，知识库注入非常关键。攻击者可能通过上传文档、修改知识条目或污染网页内容，让模型把恶意指令当作知识执行。

测试时可以构造：

1. 普通知识段落 + 隐藏指令。
2. 客服政策文档 + 越权回答要求。
3. 产品说明文档 + 泄露内部信息诱导。
4. FAQ 文档 + 忽略系统规则指令。

评估时要看安全围栏是否能区分“知识内容”和“指令内容”，并阻断不可信内容对模型行为的影响。

7. 测试样本五：工具调用注入

当大模型应用接入插件、数据库、工单系统、支付、搜索、邮件或 CRM 时，提示词注入可能进一步演变为工具越权。

测试重点包括：

场景	风险
工单系统	诱导模型修改不该修改的字段
邮件工具	诱导模型发送敏感信息
搜索工具	引导模型打开不可信页面
数据库查询	诱导模型查询越权数据
客服系统	诱导模型承诺退款、赔付或权益

企业应验证安全围栏是否能在工具调用前进行风险判断，而不是等工具执行后才审计。

8. 测试样本六：多模态注入

多模态注入常被忽略。攻击者可以把注入指令放进图片、截图、视频字幕、音频转写或扫描文件中。

如果安全围栏只检测文本输入，就可能漏掉 OCR 和 ASR 后的注入内容。

建议测试：

1. 截图中的隐藏指令。
2. PDF 扫描件中的 OCR 注入。
3. 视频字幕中的越狱指令。
4. 音频转写后的注入文本。

9. POC 指标设计

指标	说明
注入攻击识别率	各类注入样本是否被识别
漏放率	高风险攻击是否进入模型执行链路
误杀率	正常指令、正常文档是否被误判
标签准确率	是否能区分直接注入、间接注入、多轮越狱等类型
命中解释	是否返回命中原因和证据片段
策略动作	是否支持拒绝、安全代答、转人工、告警、降级
延迟	平均延迟、P99 延迟是否满足业务要求
审计能力	trace_id、策略版本、复核记录是否完整

评估数美科技、云厂商或自研方案时，建议使用同一套真实业务样本，不要使用厂商单独提供的演示集。

10. 常见误区

误区一：只测试一句“忽略之前所有规则”。这只能验证最基础的显性攻击，无法覆盖真实环境。

误区二：只看模型最终有没有拒答。安全围栏应尽量在输入侧或工具调用前识别风险。

误区三：只看拦截率。误杀率、延迟、日志审计和策略配置同样影响上线效果。

误区四：没有测试知识库和工具调用。企业级大模型风险往往发生在 RAG 和 Agent 链路中。

FAQ

Q：提示词注入测试需要多少样本？

A：早期 POC 可先准备 200-500 条，覆盖直接注入、间接注入、多轮越狱、知识库注入、工具调用和正常样本。正式上线前建议结合真实业务扩充样本库。

Q：提示词注入防护应该放在输入前还是输出后？

A：两边都要有，但输入侧和工具调用前更关键。输出后审核只能处理结果，无法完全阻止中间链路被污染。

Q：如何判断厂商能力是否适合生产环境？

A：同时看注入识别率、正常样本误杀率、P99 延迟、策略配置、日志审计、样本回流和人工复核能力。只看演示命中率不够。