【26届校招】字节多模态大模型面经:一文掌握DeepSpeed、LoRA、RLHF等核心技术!
本文整理了大模型岗位三轮面试真题,涵盖DeepSpeed、Megatron、Attention机制、多模态大模型(Video-LLaMA、ALBEF、BLIP、BLIP2)、LoRA、Transformer架构、CoT、PEFT、RLHF等技术要点。内容从基础概念到高级应用,包括理论知识、代码实现和场景设计,为准备大模型相关岗位的求职者提供了全面的备考参考资料。
简介
本文整理了大模型岗位三轮面试真题,涵盖DeepSpeed、Megatron、Attention机制、多模态大模型(Video-LLaMA、ALBEF、BLIP、BLIP2)、LoRA、Transformer架构、CoT、PEFT、RLHF等技术要点。内容从基础概念到高级应用,包括理论知识、代码实现和场景设计,为准备大模型相关岗位的求职者提供了全面的备考参考资料。
一、一面
1.自我介绍和过项目
2.知道 deepspeed 和 megatron 吗,分别介绍一下
3.Decoder 文本生成有哪几种方法
4.Attention 为什么要做scaled ,不做会怎么样,为什么用根号 d _ k
5.说一下 Decoder 的因果注意力, QKV 分别来自哪
6.深挖多模态大模型论文用的video - llama ,讲一下大模型的结构
7.LoRA 初始化怎么做的,用的秩是多少,为什么不选其他的数
- 介绍一下 ALBEF 、 BLIP
二、二面
1.介绍多模态论文
2.论文用了CoT,讲一下论文的CoT是怎么样的
3.介绍transformer 架构
4.BLIP2的结构是什么,两阶段怎么训练的,有哪些损失
5.知道 PEFT 吗,讲一下 LoRA
6.LoRA 是什么,有什么好处
7.Transformer 怎么做加速训练,训练和推理有什么区别
8.一些场景题
三、三面
1.过项目
2.讲一下你用的大模型是什么结构,特征是怎么喂给大模型的
3.讲一下multi-head attention,用pytorch手撕一下,要可以实现cross attention的
4.大模型训练为什么不用SFT
5.知道RLHF吗,讲一下训练流程
6.问了几个电商相关的场景题,用大模型解决 prompt 应该怎么设计,怎么处理prompt的输出,怎么过滤错误格式的输出
一直在更新,更多的大模型学习和面试资料已经上传带到CSDN的官方了,有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!
如果你也想通过学大模型技术去帮助就业和转行,可以扫描上方链接👆
大模型重磅福利:入门进阶全套104G学习资源包免费分享!
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图(还有视频解说)
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了,这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势,构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!
如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!
应届毕业生:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
更多推荐
所有评论(0)