logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型算法实习-LoRA知识点梳理

LoRA 是在模型内部权重矩阵旁插入低秩模块,Prefix/Prompt-Tuning则是通过在输入或注意力前缀插入可训练向量实现轻量微调。

#算法#人工智能#深度学习
大模型算法实习-RAG梳理

A:RAG(,检索增强生成)是一种结合向量检索和大模型生成的技术,让模型在回答问题时动态接入外部知识库,从而提高事实性可解释性和领域适应性。:用户查询:检索到的文档:候选文档集合:相关性概率:基于文档生成答案的概率大模型参数静态→ 知识无法实时更新原始预训练数据有限 → 专业/小众领域知识不足减少“幻觉”(生成不符合事实的内容)降低训练成本 → 无需全量微调,只需维护知识库一句话总结“RAG通过检

#算法
大模型算法实习-RAG梳理

A:RAG(,检索增强生成)是一种结合向量检索和大模型生成的技术,让模型在回答问题时动态接入外部知识库,从而提高事实性可解释性和领域适应性。:用户查询:检索到的文档:候选文档集合:相关性概率:基于文档生成答案的概率大模型参数静态→ 知识无法实时更新原始预训练数据有限 → 专业/小众领域知识不足减少“幻觉”(生成不符合事实的内容)降低训练成本 → 无需全量微调,只需维护知识库一句话总结“RAG通过检

#算法
大模型算法实习-RAG梳理

A:RAG(,检索增强生成)是一种结合向量检索和大模型生成的技术,让模型在回答问题时动态接入外部知识库,从而提高事实性可解释性和领域适应性。:用户查询:检索到的文档:候选文档集合:相关性概率:基于文档生成答案的概率大模型参数静态→ 知识无法实时更新原始预训练数据有限 → 专业/小众领域知识不足减少“幻觉”(生成不符合事实的内容)降低训练成本 → 无需全量微调,只需维护知识库一句话总结“RAG通过检

#算法
到底了