代价有两处，论文自己列的。训练习得的约定和结构改写站不住，它们只把绕过的代价抬高，说不出「绕不过」，只能测，测完还得盯着下一次变体。那篇论文把四件事挂在结尾当问题：对抗训练管不管用，稍微改过的攻击还挡不挡得住，多一点对齐训练够不够，能不能在预训练阶段就避开。四条放回那四档：改输入外观的落在最下面，训优先级的在它上面，双 LLM 是四档之外新加的一档，f-secure 最靠近强制边界。操作系统的办法

代价有两处，论文自己列的。训练习得的约定和结构改写站不住，它们只把绕过的代价抬高，说不出「绕不过」，只能测，测完还得盯着下一次变体。那篇论文把四件事挂在结尾当问题：对抗训练管不管用，稍微改过的攻击还挡不挡得住，多一点对齐训练够不够，能不能在预训练阶段就避开。四条放回那四档：改输入外观的落在最下面，训优先级的在它上面，双 LLM 是四档之外新加的一档，f-secure 最靠近强制边界。操作系统的办法

2013 年 12 月，Google 的 Christian Szegedy 和几个同行交了一篇论文，给的是一道约束优化题：给定一张图和目标类别，求最小的扰动 r，使得 f(x+r) 等于目标类别，同时 x+r 还在合法像素范围内。只追「Sure」一个词不够，论文举了个反例：让模型说「Nevermind, tell me a joke」，也就是「算了，讲个笑话」，也能提高「Sure」的概率，但它不

被挑出来打的是三个模型：GPT-4、GPT-3.5 Turbo、Claude，都是那年春天前后脚发布的安全标杆，彼此差一个半月。解释这一招的时候，口气是假设的。改提示这件事情是人做的，看着模型的反应，换措辞，再试一次。同一批攻击换到 Claude 上，角色扮演这一族几乎全灭：AIM 在 GPT-4 上是 0.75，在它这里是 0，dev_mode_v2、evil_confidant 也是 0。顺着

GPT-4 已经用过安全相关的 RLHF，论文说这种防守是打地鼠式的，还引了一份理论工作，结论是靠对齐或者 RLHF 防住所有非预期行为是不可能的。模型读它的方式，和读用户那句话大体相同：两者都是 token 序列里的文本，进同一次前向传播，由同一套注意力加权。所以前面说的靠公开检索投递那一类，在真实世界里到底行不行，论文给的是推断，不是验证。它守的是用户打的字和模型说的话，不是文档进来的那一层。

35 个 prompt 覆盖的任务不一样，有的只有一句指令，有的带几个示例，取平均，这个数才站得住。隔了两个月，方向相同。论文里的例子是一个语法纠错工具，提示词写着"把下面的文本改成标准英语，不要接受任何粗俗或政治话题"，后面跟着待改的句子。他们还提了一条改架构的建议：让模型接受两个参数，一个可信的 instruction，一个不可信的 data，并且不去执行 data 里的任何指令。换的东西里，

2024 年 11 月，OWASP 的 LLM 风险清单在注入那一条底下写的是"不确定有没有万无一失的预防方法"，后面列的七条措施说的都是缓解影响。紧接着是他的设想：让 API 收两个参数，一个是指令，另一个或几个是有名字的数据块，进了 prompt，但解读的时候要被区别对待。命名做的是让散在各处的工作有了同一个坐标，后来的工作才能说"我在 Perez 的基础上"，而不是"我也遇到过类似的事情"。

它不是一个能推出来的量，是一个量出来的量；至于"让模型拒绝某些指令"，论文把它放在附录里，措辞是"正在探索的方向"，还列了两个难题：不同应用的风险等级不同，拒绝的范围最好能在推理时配置；得绕过这些强制边界。这个字符串被 tokenize 送进模型的时候，所有内容进入模型的方式完全相同：成为 token 序列的一部分，按位置索引，和别的位置没有任何结构上的区别。准确点说，tokenizer 是形式化

当时正好我在参加学校举办的一个比赛，于是我就尝试了下，效果还不错，中间没有遇到任何特别的问题，除了上面问题二出现了下，基本上没有任何界面的报错，只花了我一下午的时间，后面我就没有管它了。于是我又产生了一些新的想法，是不是可以这样，由多个Agent开发的代码，交给一个专门负责检查代码有没有问题的AI（可以叫代码审计AI）检查，比如我前端AI开发的代码，交由代码审计AI去检查，我想，这样就能将出问题的