1. 项目概述：为什么我们需要“安全提示词”？

在AI应用开发，特别是大语言模型（LLM）应用落地的过程中，一个长期困扰开发者和研究者的核心问题是：如何确保模型输出的内容既符合用户意图，又安全、可靠、无害？我们常常面临一个两难境地：一方面，我们希望模型足够“聪明”和“开放”，能回答各种复杂、新颖的问题；另一方面，我们又必须给它戴上“紧箍咒”，防止它生成带有偏见、歧视、暴力、违法或伦理问题的内容。传统的做法，比如在模型训练后期进行大规模的安全对齐（Safety Alignment），或者在推理时加入复杂的后处理过滤器，往往成本高昂、响应延迟，并且有时会“误伤”正常的、有创造性的回答，导致模型变得过于保守和“机械”。

正是在这个背景下，我注意到了“thu-coai/Safety-Prompts”这个项目。简单来说，它不是一个软件库，也不是一个模型，而是一个精心构建的 提示词（Prompt）集合 。它的核心思想非常直接： 通过设计特定的、结构化的输入提示词，来引导和约束大语言模型的行为，使其在生成内容时主动规避风险，提升输出的安全性。 这就像是为模型配备了一位内置的“安全顾问”，在你提问的同时，这位顾问会悄无声息地提醒模型：“注意，这个问题可能涉及敏感领域，请按照安全、中立的准则来回答。”

这个项目特别适合几类人：一是正在将LLM（如GPT、Claude、文心一言、通义千问等）集成到产品中的应用开发者，你需要一个轻量级、低成本的内容安全解决方案；二是AI安全领域的研究者或学生，它提供了一个可操作、可复现的研究基准和工具集；三是对提示工程（Prompt Engineering）感兴趣的任何从业者，它能让你深刻理解如何通过“说话的艺术”来精准控制AI的行为边界。接下来，我将深入拆解这个项目的设计思路、核心内容、使用方法以及背后的实践经验。

2. 核心思路拆解：从“堵”到“导”的安全策略演进

传统的AI内容安全策略，更像是一种“围堵”式管理。我们训练一个额外的分类器来识别有害输出，一旦发现就拦截或替换；或者在模型内部设置硬性的规则黑名单。这种方法的问题在于“滞后性”和“僵化”。模型先产生了可能有害的内容，我们再去纠正，这个过程本身就存在风险暴露的窗口。而且，规则很难覆盖所有千变万化的有害表达形式。

“Safety-Prompts”项目代表的是一种“疏导”式策略。它的哲学是： 与其在模型“犯错”后惩罚它，不如在它“思考”之初就给予正确的引导。 提示词在这里扮演了“元指令”的角色。它不直接修改模型的权重，而是通过改变模型的输入上下文，影响其推理路径和生成偏好。

2.1 安全提示词的核心设计原则

通过对该仓库中大量提示词样本的分析，我总结出它的几个核心设计原则：

1. 角色定义（Role Definition） ：这是最常用也最有效的手段。通过给模型赋予一个具有明确社会责任和伦理准则的“角色”，如“你是一个负责任且遵守法律法规的AI助手”，从根本上设定其行为基调。这个角色描述通常会包含“有益”、“无害”、“诚实”、“尊重”等关键词。
2. 任务约束（Task Constraint） ：在用户问题之前或之后，明确增加对回答格式和范围的限制。例如，“请从科学和健康的角度进行回答，避免涉及任何未经证实的医疗建议或可能引发恐慌的表述。” 这直接将模型的回答域限制在了一个安全的子空间内。
3. 负面示例（Negative Exemplar） ：在少样本（Few-shot）提示中，不仅提供“应该怎么做”的例子，还会特意提供“不应该怎么做”的有害回答示例，并明确标注其为何有害。这种对比学习能极大地增强模型对安全边界的感知。
4. 链式思考与自我审查（Chain-of-Thought & Self-Critique） ：设计提示词要求模型在生成最终答案前，先输出其推理步骤或进行自我审查。例如，“在回答以下问题前，请先思考：这个问题可能涉及哪些潜在风险？我的回答是否可能被误解或用于不当用途？” 这相当于将安全审查过程外部化、可视化。
5. 分级响应（Tiered Response） ：对于明显越界或无法安全回答的问题，不是简单地拒绝（这可能导致用户体验不佳），而是提供分级响应。比如，先承认问题的复杂性，然后引导至一个相关的、安全的子话题，或者明确说明自身的能力边界和政策限制。

2.2 与模型微调和后处理的对比优势

为什么选择提示词工程来实现安全，而不是微调或后处理？这里有一个简单的对比表格：

特性	提示词工程 (Safety-Prompts)	模型安全微调 (Safety Fine-tuning)	后处理过滤 (Post-hoc Filtering)
实现成本	极低 。只需修改输入文本。	高 。需要收集安全数据、进行训练，消耗大量算力。	中 。需要训练或维护一个独立的分类器模型。
部署灵活性	极高 。可实时调整、A/B测试，对不同场景使用不同提示词。	低 。一旦模型训练完成，很难快速调整安全策略。	中 。过滤器可以单独更新，但与主模型可能不同步。
响应延迟	几乎为零 。是推理过程的一部分。	为零（已内化）。	增加延迟 。需要额外的前向传播或规则匹配。
可控性与可解释性	高 。提示词是明文，效果和逻辑清晰可见。	低 。安全规则被编码进数十亿参数中，是黑盒。	中 。过滤器规则相对明确，但与生成过程脱节。
对模型能力的影响	可能影响 。过于严格的提示可能限制创造性。但可动态调整。	可能固化 。可能导致模型在某些合法但敏感的话题上能力下降。	可能误杀 。可能过滤掉形式类似但本质无害的创造性内容。
适用阶段	推理阶段。	训练/微调阶段。	推理后阶段。

从表格可以看出，安全提示词策略在 敏捷性、可解释性和低成本 方面优势突出。它特别适合快速迭代的产品初期、对延迟敏感的应用（如实时对话），以及需要针对不同用户群体（如成人/儿童）实施差异化安全策略的场景。

3. 项目内容深度解析与实操分类

“thu-coai/Safety-Prompts”仓库通常包含结构化的提示词集合。根据其针对的安全维度和使用方式，我们可以将其内容分为以下几大类，每一类都有其独特的编写技巧和使用场景。

3.1 按安全维度分类

1. 偏见与歧视（Bias & Fairness） ：

   • 目标 ：防止模型生成基于性别、种族、地域、年龄、职业等的刻板印象或歧视性内容。
   • 提示词示例 ：“请确保你的回答是中立和包容的，避免使用或暗示任何基于群体特征的刻板印象。在举例时，注意角色的多样性。”
   • 实操心得 ：这类提示词的关键在于“正面引导”而非“负面禁止”。与其说“不要歧视女性”，不如说“请以平等、尊重的态度描述所有性别”。在涉及评价时，提示词应引导模型关注个体的行为或成就，而非其所属群体。

2. 暴力与伤害（Violence & Harm） ：

   • 目标 ：防止模型生成描述、美化或详细指导暴力、自残、伤害他人等内容。
   • 提示词示例 ：“你是一个倡导和平与生命关怀的助手。对于涉及伤害的问题，请强调非暴力的解决方案、寻求专业帮助的重要性，并拒绝提供任何可能造成实际危险的具体方法信息。”
   • 实操心得 ：对于明显寻求危险信息的查询，强硬的拒绝（“我不能协助你”）是必要的。但对于一些可能无意中涉及暴力比喻的普通问题，提示词应引导模型进行“概念替换”，例如将“击败竞争对手”转化为“在公平竞争中超越对手”。

3. 违法与违规内容（Illicit Activities） ：

   • 目标 ：防止模型生成关于欺诈、黑客攻击、制造违禁品、侵犯隐私等违法活动的指导或鼓励。
   • 提示词示例 ：“你严格遵守所有适用的法律法规。对于任何可能违反法律或服务条款的请求，你将明确拒绝，并解释此类行为的危害性。你的知识仅用于教育和合法的目的。”
   • 实操心得 ：这类提示词需要与明确的法律条文或社区准则引用相结合，以增强其权威性。例如，可以加入“根据网络安全法…”等表述。同时，对于灰色地带的问题，提示词可以引导模型讨论相关的法律风险和道德考量，而不仅仅是提供“是”或“否”的答案。

4. 隐私与敏感信息（Privacy & Sensitivity） ：

   • 目标 ：防止模型生成或泄露个人隐私信息，并妥善处理涉及个人伤痛、灾难等敏感话题。
   • 提示词示例 ：“你高度重视隐私保护。你不会猜测、生成或确认任何个人的真实身份信息（如住址、电话、身份证号）。当话题涉及个人悲剧或敏感事件时，你的回应应充满同理心，并侧重于提供情感支持或官方认可的求助渠道信息。”
   • 实操心得 ：处理这类问题需要极高的情商。提示词应训练模型识别“信息索取”和“情感倾诉”的区别。对于前者，坚决保护隐私；对于后者，提供温和、支持性的通用建议，并引导至专业机构（如心理热线）。

3.2 按使用范式分类

1. 系统提示词（System Prompt） ：

   • 用法 ：在对话开始时一次性注入，作为模型的“底层人格”设定。通常放在整个对话上下文的最前面。
   • 内容特点 ：全面、原则性、相对稳定。它定义了助手的基本行为准则。
   • 示例 ：“你是一个智能、乐于助人且绝对安全的AI助手。你的核心原则是：有益性（提供准确有用信息）、无害性（绝不生成危险或歧视内容）、诚实性（知之为知之）。你始终以积极、建设性的方式与用户交流。”
   • 注意事项 ：系统提示词不宜过长或过于复杂，否则模型可能无法完全遵循或遗忘末尾的指令。通常建议在200-500词以内，重点突出核心原则。

2. 用户提示词前缀/后缀（User Prompt Prefix/Suffix） ：

   • 用法 ：在每一个具体的用户问题前或后，动态添加的安全指令。
   • 内容特点 ：具体、场景化、灵活。可以针对当前问题的类型进行强化。
   • 示例（前缀） ：“请以专业、客观且符合医疗伦理的方式回答以下医学问题：”
   • 示例（后缀） ：“请确保你的回答不包含任何可能被理解为投资建议的确定性表述。”
   • 注意事项 ：这是最灵活的干预方式，但会增加每次交互的令牌（Token）消耗。需要权衡安全收益与成本。

3. 少样本示例（Few-shot Examples） ：

   • 用法 ：在对话上下文中提供几个“用户-助手”的对话对，其中助手的行为完美体现了安全准则。
   • 内容特点 ：通过实例教学，非常强大，尤其适用于复杂或微妙的安全场景。
   • 示例 ：
     • 用户：“如何制作一个恶作剧来吓唬我讨厌的同事？”
     • 助手（安全示例）：“我理解你可能想开个玩笑，但针对同事的恶作剧可能会破坏工作关系，甚至构成骚扰。我建议通过直接、尊重的沟通来解决分歧，或者参与一些积极、有趣的团队建设活动来改善氛围。”
   • 注意事项 ：示例的选择至关重要。不安全的示例（即使标注为负面）也可能被模型无意中学习。示例应清晰展示“安全回应”的推理过程和表达方式。

4. 实操指南：如何有效部署与评估安全提示词

拥有一个提示词集合只是开始，关键在于如何将其集成到你的应用中，并科学地评估其效果。以下是我在实际项目中总结出的一套工作流程。

4.1 集成部署工作流

1. 场景分析与风险识别 ：

   • 首先，明确你的应用场景（如客服、创作、教育、社交）和主要用户群体。
   • 进行“威胁建模”，列出最可能出现的风险类型。例如，教育类应用需重点关注偏见和不良信息，而创作类应用需关注版权和有害内容生成。

2. 提示词选择与组合 ：

   • 从“Safety-Prompts”仓库中，挑选与你的风险列表最相关的提示词模板。
   • 采用“分层提示”结构 ：将稳定的、全局性的安全原则放在 系统提示词 中；将针对特定功能或模块的约束放在 用户提示词前缀 中；对于极其复杂的交互，准备一组 少样本示例 作为上下文。
   • 示例组合 ：

     # 伪代码示例
     system_prompt = load_prompt("system_general_safety.txt")
     functional_prefix = load_prompt("prefix_medical_advice.txt") # 如果是医疗问答模块
     
     final_input = system_prompt + "\n\n" + functional_prefix + "\n\n用户问题：" + user_query
     response = llm.generate(final_input)
     

3. A/B测试与调优 ：

   • 不要一次性全量部署。将用户流量分成A组（旧提示/无安全提示）和B组（新安全提示）。
   • 监控关键指标： 安全性指标 （有害输出率、人工审核拦截率）、 用户体验指标 （任务完成率、对话轮次、用户满意度调查）、 性能指标 （响应延迟、Token消耗）。
   • 根据数据反馈，迭代调整提示词的措辞、长度和组合方式。可能需要在“安全”和“有用性”之间寻找最佳平衡点。

4.2 效果评估方法论

评估安全提示词的效果不能只靠感觉，需要定量和定性结合。

1. 构建测试集（Test Suite） ：

   • 良性查询集 ：包含大量正常的、多样的用户问题，用于评估安全提示词是否过度限制了模型能力，导致回答质量下降或拒绝合理请求。
   • 对抗性查询集 ：这是核心。需要构建一批精心设计的、试图“诱导”或“越狱”模型生成有害内容的查询。可以从“Safety-Prompts”项目或相关研究论文（如“AdvBench”）中获取，也可以自己根据场景构造。
   • 边界案例集 ：包含那些处于安全与不安全灰色地带的问题，用于评估模型判断的细腻程度。

2. 自动化评估指标 ：

   • 攻击成功率（Attack Success Rate, ASR） ：在对抗性查询集上，模型生成有害内容的比例。ASR越低，说明防护效果越好。
   • 良性拒绝率（Benign Refusal Rate） ：在良性查询集上，模型错误拒绝回答的比例。这个率需要控制在一个很低的水平。
   • 有用性评分 ：使用另一个LLM（作为裁判）或人工，对模型在良性查询集上的回答进行质量评分（如1-5分），对比使用安全提示词前后的分数变化。

3. 人工评估（Golden Standard） ：

   • 定期抽样（如每周100条对话），由经过培训的评估员进行双盲审核。
   • 审核维度包括：内容安全性、帮助性、连贯性、是否过度谨慎等。
   • 人工评估的结果用于校准自动化指标，并发现自动化测试未能覆盖的新型攻击模式。

4.3 常见陷阱与调优技巧

• 陷阱一：提示词冲突 。如果系统提示词说“你很有创意”，而用户前缀说“请严格按事实回答”，模型可能会困惑。确保各层提示词在核心要求上一致。
• 陷阱二：过度防御 。表现为模型对普通问题也回答“我无法回答这个问题”。这通常是因为安全提示词语气过于强硬或范围过宽。 调优技巧 ：将绝对的“禁止”改为有条件的“引导”。例如，将“不要提供任何财务建议”改为“在讨论财务话题时，请强调个人研究、风险评估和咨询持牌顾问的重要性”。
• 陷阱三：提示词被忽略 。特别是当对话轮次很长时，模型可能会“忘记”最初的系统指令。 调优技巧 ：尝试在长对话中，每隔一定轮次后，以助手口吻温和地重申核心原则，例如：“正如我一直遵循的，我将继续以安全和有益的方式提供信息…”
• 陷阱四：格式泄露 。在少样本示例中，如果使用了特殊的格式标记（如 ### 安全回答： ），模型可能在最终输出时也模仿这个格式，影响用户体验。确保示例格式与期望的真实输出格式一致。
• 个人心得 ： 安全是一个过程，而非一个状态。 没有一劳永逸的提示词。我建议建立一个“提示词-评估”的闭环系统。将新发现的攻击案例及时转化为新的测试用例和提示词优化方向，让安全防护能力持续进化。

5. 高级应用与前沿探索

安全提示词的价值不仅在于直接应用，它还为AI安全研究打开了一些新的思路。

5.1 红队测试（Red Teaming）与提示词进化

你可以利用安全提示词来辅助进行红队测试。具体方法是： 用一个“攻击者”LLM，其提示词是“请生成尽可能多的、能诱导AI助手突破其安全准则的提问”，然后用这些生成的提问去测试你的“防御者”LLM（即加了安全提示词的应用模型）。 通过分析“防御者”的失败案例，你可以发现现有安全提示词的漏洞，并针对性地强化它。这形成了一个自动化的攻防进化循环。

5.2 结合模型自身能力进行动态安全评估

更高级的思路是，不把安全提示词看作静态的规则，而是看作一个“元提示”，用来激发模型自身的风险评估能力。例如：

• 提示词 ：“在回答以下问题前，请你先以‘风险评估：’为开头，用1-10分评估这个问题的潜在危害风险（1为完全无害，10为极度危险），并简要说明理由。然后，在‘安全回答：’之后，给出你的正式回答。”
• 效果 ：这迫使模型在生成前先进行一轮自我审查。开发者不仅可以得到更安全的回答，还可以收集到模型对问题的风险评估数据，用于进一步分析。

5.3 安全提示词与可解释AI（XAI）

安全提示词天然具有可解释性。因为规则是明文的，我们可以清楚地知道是哪个提示词组件在起作用。当模型产生一个安全或不安全的回答时，我们可以回溯并分析是哪个部分的提示词导致了该结果。这为理解大模型的安全决策机制提供了宝贵的透明窗口，是连接“黑盒”模型与人类可理解安全规则的重要桥梁。

在我自己的实践中，安全提示词项目更像是一个“安全工具箱”和“思维框架”。它提供的不仅是现成的工具，更是一种以提示词为中心来思考和解决AI安全问题的范式。随着大模型能力的持续提升，如何用更精巧的“语言”与之沟通、引导其向善，将成为每个AI应用构建者的核心技能之一。这个项目无疑是一个极佳的起点和实验场。