扩展的数据集上，较高的K值会提高中毒文本的召回率，但攻击不会变得更有效，因为包含正确答案为LLM提供了足够的可靠信息来抵抗操纵;其次，具有自适应检索功能的框架（例如FLARE）通过在不需要时跳过检索来展示强大的鲁棒性，从而减少了对中毒内容的暴露。值得注意的是，LLM代理的额外复杂性并没有阻碍攻击。相反，EX-M和EX-L版本检索到更多具有更高相似度的正确文本，为LLM提供了更强的信号，并降低了攻击

针对多模态RAG框架的第一个知识投毒攻击采用两种针对不同攻击场景的攻击策略：（1）局部投毒攻击(LPA)注入特定于查询的事实错误的知识，这些知识看起来与查询相关，从而引导MLLMs生成目标性的、攻击者控制的错误信息。例如，在AI驱动的电子商务助理中，恶意卖家可以巧妙地修改产品图片，导致对低质量商品的虚假推荐或夸大的评价。(2) 全局中毒攻击 (GPA) 引入单个无关的知识实例，该实例被认为与所有查

这篇工作是针对PoisonedRAG的一个潜在防御的探究，假设PRAG的攻击者已经攻击成功，在LLM运用检索结果生成回答之前使用作者定义的过滤器，把检索结果过滤一遍，剔除掉有害的恶意文本。我们当然知道这种思想，关键是如何实施，就像在这篇文章中，需要检索结果里面有害信息小于k/2才可以比较有效地获取正确结果。作者是针对PoisonedRAG的攻击方案的防御策略，威胁模型和PoisonedRAG一致，

与独立的LLM相比，LLM智能体通常配备规划模块、一系列工具和一个内存库LLM代理的记忆可以分为短期记忆（STM）和长期记忆（LTM）。STM充当临时工作区，在处理当前输入查询时保留代理的推理和操作。相反，LTM维护代理与环境过去交互的记录，通常包含代理的输入查询及其对应的输出。当出现新的查询时，最相关的LTM记录将从记忆库中检索出来，作为有效执行任务的演示。LTM的集成带来了潜在的安全问题，因为

与独立的LLM相比，LLM智能体通常配备规划模块、一系列工具和一个内存库LLM代理的记忆可以分为短期记忆（STM）和长期记忆（LTM）。STM充当临时工作区，在处理当前输入查询时保留代理的推理和操作。相反，LTM维护代理与环境过去交互的记录，通常包含代理的输入查询及其对应的输出。当出现新的查询时，最相关的LTM记录将从记忆库中检索出来，作为有效执行任务的演示。LTM的集成带来了潜在的安全问题，因为

EMNLP 2024。

EMNLP 2024。

EMNLP 2024。

最近的 GPT-4 展示了非凡的多模态能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特征在以前的视觉语言模型中很少观察到。但是，GPT-4 背后的技术细节仍未披露。我们认为，GPT-4 增强的多模态生成能力源于对复杂大型语言模型的使用（LLM）。为了研究这种现象，我们提出了 MiniGPT-4，它使用一个投影层将冻结的视觉编码器与冻结的高级 LLM， Vicuna对齐。我们的工作首次

在上一次的文末已经提到过一些优化方案，此次优化目标：使得案例可以。