
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
这篇论文通过将 RAG(检索增强生成) 的理念引入创意写作,证明了结构化知识在弥补模型“长程记忆”缺陷方面的有效性。查询 kg 的范围限制在当前的 章节是否是最佳的,如何回溯过去的内容?如何评估生成的内容的质量,与现实文本的区别。是否有真实的demo?
任务,使用了 CNN/DailyMail 和 XSUM 两个数据集进行验证。
本研究系统性地解决了“如何为 ICL 检索最佳示例”的问题。相比于先前的启发式方法,LLM-R 的创新之处在于将 LLM 的内部概率分布转化为可学习的检索目标,并通过奖励模型平滑信号。这种“模型辅助检索训练”的思路为优化检索增强型大模型(RAG)和长文本处理提供了重要的参考价值。
本研究系统性地解决了“如何为 ICL 检索最佳示例”的问题。相比于先前的启发式方法,LLM-R 的创新之处在于将 LLM 的内部概率分布转化为可学习的检索目标,并通过奖励模型平滑信号。这种“模型辅助检索训练”的思路为优化检索增强型大模型(RAG)和长文本处理提供了重要的参考价值。
摘要: 本文提出利用上下文学习(ICL)操纵大语言模型(LLM)安全表现的新方法。研究表明,仅需少量示例即可实现模型越狱(ICA)或增强防御(ICD)。理论分析表明,ICL通过贝叶斯更新改变模型对任务性质的判断,且防御比攻击更具效率优势。实验显示,20个攻击示例可使GPT-4越狱成功率升至81%,而2个防御示例即可显著降低攻击成功率。该方法为模型安全测试和防护提供了高效工具,揭示了LLM安全行为的
SCR 提供了一种模型无关(Model-agnostic)且即插即用的防御新范式。它避免了频繁微调的昂贵成本,通过“以例示警”的方式,让 LLM 在推理阶段能实时识别并抵御未知的越狱手段。优势:防御能力随记忆库扩充线性增长。一个检索模块可同时保护多个不同的 LLM 实例。发现新攻击后,分钟级即可完成入库更新。防御效果高度依赖于安全示例库的质量和覆盖面。对于高度复杂或模糊的输入,检索机制可能无法精确
这篇论文提供了一种非侵入式的方法来拆解 RAG 的生成过程。它不需要修改模型架构,只需通过多次推理观察“语义熵”的变化,就能像“X 光”一样透视出到底是哪个文档在影响 LLM 的决策。
使用 VirtualBox 7.1.0 搭建 SEED-labs-ubuntu 20.04 虚拟机环境教程
《LangChain Chat with Your Data》-Document Splitting
本研究采用混合方法,系统地识别并量化了LLM回应的三个关键特征(解释、来源、不一致性)对用户信任的影响。明确了解释会普遍增加信任,而来源和不一致性是减少过度信任的有效机制。提供了关于用户如何解释LLM解释、如何进行来源点击以及解释和来源之间交互作用的细致见解。







