logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

颠覆传统 KBQA 范式:ChatKBQA 的生成 - 再检索创新之路

ChatKBQA框架创新性地采用"生成-再检索"范式重构知识库问答流程,通过微调开源大语言模型直接生成逻辑形式骨架,再结合无监督检索补全实体关系,在WebQSP和CWQ数据集上取得SOTA性能。相比传统方法,该框架解决了检索效率低、错误传播和流程复杂三大痛点,支持插件化部署并具备可解释性。尽管在复杂逻辑生成、检索鲁棒性和知识库适配性方面仍存在局限,但其创新思路为知识密集型问答提

#论文阅读
突破 LLM 在稠密检索的瓶颈:Llama2Vec 的无监督适配方案解析

本文提出Llama2Vec模型,通过创新的无监督适配策略解决大型语言模型(LLM)在稠密检索任务中的语义适配问题。该方法设计了两个预训练任务(EBAE和EBAR),分别使嵌入具备归纳和演绎能力,从而同时满足相关性匹配和释义匹配需求。实验表明,该方案在保持计算效率的同时,显著提升了检索性能,为LLM在信息检索领域的应用提供了新思路。

#论文阅读#RAG
BRD 技术 —— 让小模型也能拥有大模型的 “阅读能力”

摘要:基础阅读蒸馏(BRD)技术突破传统模型压缩方法的局限,通过让小模型(如564M参量)学习大模型的基础阅读行为(命名实体识别和问答生成),而非直接针对任务训练,实现了跨任务通用能力。实验显示,经BRD训练的小模型在多项NLP任务上超越20倍参量的大模型,零样本测试中情感分析任务提升15.3%,复杂推理任务提升83.25%。这种"能力先行"的蒸馏思路,为轻量化模型部署提供了新

#论文阅读
打破 LLM 推理瓶颈:GNN-RAG 如何重构知识图谱问答的检索与生成范式

《GNN-RAG:图神经网络与大语言模型的协同问答框架》摘要 GNN-RAG提出了一种创新性解决方案,通过结合图神经网络(GNN)的结构化推理能力与大语言模型(LLM)的自然语言处理优势,有效解决了知识图谱问答(KGQA)中的核心挑战。该方法采用四阶段流程:GNN精准检索候选答案并提取推理路径,检索增强技术弥补模型短板,最终由LLM基于路径生成自然语言回答。实验表明,该方法在多跳推理上的覆盖率比纯

#知识图谱#人工智能#RAG
语言模型的 “弹性“:为什么对齐如此脆弱?

北京大学团队在ACL2025的研究揭示了大型语言模型(LLM)的"弹性"特性,表明模型天然抵抗对齐调整。该研究将LLM训练与对齐过程建模为数据压缩,发现由于预训练数据远多于对齐数据,模型会优先维持原始分布。实验证实:对齐越深的模型在逆微调时反弹越快,且模型规模越大弹性越强。这一发现解释了现有对齐技术的局限性,指出仅靠微调难以实现深层次安全对齐,为未来开发稳健对齐方法提供了新视角

#论文阅读#语言模型#人工智能
语言模型的 “弹性“:为什么对齐如此脆弱?

北京大学团队在ACL2025的研究揭示了大型语言模型(LLM)的"弹性"特性,表明模型天然抵抗对齐调整。该研究将LLM训练与对齐过程建模为数据压缩,发现由于预训练数据远多于对齐数据,模型会优先维持原始分布。实验证实:对齐越深的模型在逆微调时反弹越快,且模型规模越大弹性越强。这一发现解释了现有对齐技术的局限性,指出仅靠微调难以实现深层次安全对齐,为未来开发稳健对齐方法提供了新视角

#论文阅读#语言模型#人工智能
BRD 技术 —— 让小模型也能拥有大模型的 “阅读能力”

摘要:基础阅读蒸馏(BRD)技术突破传统模型压缩方法的局限,通过让小模型(如564M参量)学习大模型的基础阅读行为(命名实体识别和问答生成),而非直接针对任务训练,实现了跨任务通用能力。实验显示,经BRD训练的小模型在多项NLP任务上超越20倍参量的大模型,零样本测试中情感分析任务提升15.3%,复杂推理任务提升83.25%。这种"能力先行"的蒸馏思路,为轻量化模型部署提供了新

#论文阅读
BRD 技术 —— 让小模型也能拥有大模型的 “阅读能力”

摘要:基础阅读蒸馏(BRD)技术突破传统模型压缩方法的局限,通过让小模型(如564M参量)学习大模型的基础阅读行为(命名实体识别和问答生成),而非直接针对任务训练,实现了跨任务通用能力。实验显示,经BRD训练的小模型在多项NLP任务上超越20倍参量的大模型,零样本测试中情感分析任务提升15.3%,复杂推理任务提升83.25%。这种"能力先行"的蒸馏思路,为轻量化模型部署提供了新

#论文阅读
到底了