简介

这是一份大模型/RAG技术面试经验总结，涵盖稀疏语义召回、BGE-M3、Qwen3-Embedding、LoRA微调等核心概念，以及RAG系统中的文档分块、多路召回策略、重排序等实战问题。分享者通过详细解答面试官提问，展示了从理论到实践的全面技术能力，为求职者提供宝贵的面试参考。

---

关注我，掌握目前面试行情，看面经，平均多拿3个offer

个人背景：2年经验，之前在某运营商

基础

1、解释一下稀疏语义召回，BGE-M3怎么实现的

2、Qwen3-Embedding的原理，dense向量从哪里来

3、Lora微调的概念，超参数r和alpha的调参经验

4、RMSNorm

5、Flashattention是什么

6、GQA、MQA

7、Python抽象类是什么？生成器？上下文管理器

8、PPO、DPO、GRPO 9、Git fetch、rebase、pull

10、python中的async和await为什么一起使用

11、模型微调能解决什么问题

12、为什么要进行重排序？（我从模型架构上来回答了，召回用的bi-coder，重排序用的cross-encoder）

13、什么是上下文工程

14、MCP是什么

15、大模型的幻觉问题怎么解决？

16、python深拷贝和浅拷贝使用的场景

17、介绍一下大模型的位置编码

18、Transformer中的cross-attention

19、注意力分数计算时，为什么要除以根号dk

项目相关（RAG）

1、如何将原始文档转换为知识块？你用了三个技巧，能展开说明吗？（语义感知切分、父子文档、滑动窗口）

2、检索召回阶段为什么Dense用了Qwen3，sparse用了BGE-m3，不全部用BGE（其实都可以，BGE-M3支持dense和sparse）

3、这个项目的文档分块、清洗规整等等，都是基于每一页的文档。面试官问我，为什么不揉在一起再去做文档处理，这样子分页没法处理跨页信息。

4、为什么用了Sparse语义召回，还要用BM25? 三路召回的优势？

5、召回：问我TOPK怎么考虑的，召回后的文档是全量送到reranker吗？那做RRF不是没什么意义吗？（我是把dense召回和sparse召回先做了一个RRF粗排然后和bm25检索出来的文档做一个merge去重）

6、BM25有做关键词表维护吗（被问了这个问题后，后续的面试我都说有，其实就是用结巴分词的时候，导入一个关键词表）

7、为什么要用父子文档，细节怎么做的，有做关联吗

8、在RAG的文本分块中如果chunk_size和overlap设置的很接近，会出现什么后果和问题（我想设置的很接近，文本不都全部重复了吗，严重浪费资源）

9、几千个文字的文档，重点在开头和结尾，怎么办呢（我想的是可以用大模型来做提取？）

10、每个优化点提升了多少指标？

一直在更新，更多的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一直在更新，更多的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓