logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【第四十六周】文献阅读:从 RAG 到记忆:大型语言模型的非参数持续学习

【摘要】本文提出HippoRAG 2框架,通过神经生物学启发的记忆机制改进检索增强生成系统。该框架结合密集-稀疏编码、上下文感知检索和识别记忆技术,在离线阶段构建开放知识图谱,在线阶段通过个性化PageRank算法实现多跳推理。实验表明,HippoRAG 2在关联记忆任务上比现有模型提升7%,同时在事实记忆和意义构建任务中表现优异。该方法有效模拟了人类记忆的动态关联特性,解决了传统RAG系统在持续

文章图片
#语言模型#学习#人工智能
【第八周】李宏毅机器学习笔记06:RNN

本周学习了循环神经网络的基础知识,通过具体案例来了解RNN的应用方式,认识了不同形式的RNN以及LSTM。同时,学习了RNN网络的优缺点以及采用什么方式来避免RNN产生的梯度消失问题。最后,学习到了 Attention-based Model 的基本结构以及两个具体应用案例。RNN( Recurrent Neural Network,循环神经网络)是一种特殊的神经网络架构,专门设计用于处理序列数据

文章图片
#rnn#机器学习
【第三周】李宏毅机器学习笔记03

这周学习了机器学习的任务攻略。在机器学习中我们通过损失函数的值来判断模型性能的好坏。当训练中的loss值达不到我们理想的结果时我们需要分析loss值过高的原因,有可能是model bias也有可能是optimization。当我们在训练集中的loss取得很好的结果之后就要去观察测试集上的loss。测试集上loss过大则可能产生过拟合,如何解决过拟合也是本周需要学习的内容。此外还学到了一种模型评估办

文章图片
#机器学习#人工智能
【第一周】李宏毅机器学习笔记01

本周学习了机器学习的基本概念,包括机器学习的函数输入输出类型以及函数的分类,分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构,了解了深度学习的训练三步骤,学习并手动推导了反向传播法,进一步理解了反向传播的思想以及反向传播中涉及的计算思路。

文章图片
#机器学习#人工智能
【三十七周】文献阅读:通过具有长期融合池化的双流卷积网络进行的第一人称动作识别

这篇论文提出了一种基于双流卷积神经网络和长期融合池化的第一人称动作识别方法。通过结合外观和运动信息,并引入新的池化操作,该方法能够有效地捕捉动作的时序结构,从而提升动作识别的性能。实验结果表明,该方法在Dogcentric数据集上达到了最先进的性能,并在UCF101数据集上也有一定的提升。尽管存在一些局限性,如数据集的规模和计算资源的消耗,但该方法为第一人称动作识别提供了一个有效的解决方案,并为未

文章图片
#网络
【第四十四周】HippoRAG论文复现(二):复现结果与检索代码分析

本周成功配置并运行了HippoRAG项目,解决了HuggingFace访问超时和本地模型加载问题。通过代码分析,深入理解了ircot_hipporag.py的双模式运行机制(单步检索和多步IRCoT),重点解析了retrieve_step和reason_step的协同工作流程。研究发现,merge_elements_with_same_first_line函数对HotpotQA数据集进行了特殊优化

文章图片
#语言模型#人工智能#自然语言处理
【第四十八周】HippoRAG 2 复现与分析(二):索引阶段代码分析

HippoRAG项目构建了一个模块化的检索问答系统框架。核心模块包括嵌入模型、信息抽取、大语言模型推理和提示管理等组件,通过HippoRAG类协调工作流程。系统采用NV-Embed-v2等先进模型进行向量编码,支持多线程并行处理NER和三元组抽取,构建知识图谱。代码结构清晰合理,各模块职责明确,便于扩展和维护。项目实现了从文档处理、嵌入存储到检索问答的完整流程,并提供了评估体系验证系统效果。

文章图片
#人工智能#python#语言模型 +1
【第四十七周】HippoRAG 2 复现与分析(一):环境部署与代码分析

本文记录了HippoRAG 2系统的核心功能测试过程。通过构建小型结构化文档库,验证了系统的索引构建、动态更新、问答检索及评估能力。测试中替换OpenAI为Deepseek API,使用NV-Embed-v2嵌入模型,成功获得66.67%的答案精确匹配率。这一阶段既确认了系统基础功能(如稳定索引和检索效率),也暴露了模型配置等优化点,为后续大规模实验提供了可复用的测试框架和改进方向。环境搭建和运行

文章图片
#正则表达式#python#小程序
到底了