引言

你是否正在寻找一份AI工程师、数据科学家、机器学习工程师，甚至是数据工程师的工作？或者，你只是想刷新一下知识、学习点新东西？无论如何，你都将进入这个激动人心（又有点令人生畏）的AI面试世界。

外面的资源非常杂乱，你会找到成千上万的资料、读不完的论文、博客和速查表。问题在于？有些太基础，而另一些又过于复杂。

这就是为什么你会在这里找到真正重要的精选问题。我选择这些问题是为了覆盖五个必须了解的领域，这样你走进面试间时就能想：“没问题，我准备好了。”

这五个领域是：

1. 模型架构与核心概念

2. 训练与优化

3. 微调与效率技术

4. 生成能力与推理

5. 部署、挑战与应用

现在到了有趣的部分：不要只是滚动屏幕阅读答案。在看答案之前，花点时间问问自己：“如果面试官现在问我这个问题，我会怎么回答？”

读完之后，你就会对自己的准备情况有一个扎实的了解。

1. 模型架构与核心概念

Q1. Transformer模型中的注意力机制（attention mechanism）是如何运作的？

注意力机制帮助模型判断一句话中哪些词对其他词最重要。它通过计算词与词之间的相似度得分（查询（queries）、键（keys）和值（values））来分配权重。例如，在句子“The cat chased the mouse”（猫追老鼠）中，注意力机制能让模型将“mouse”与“chased”联系起来。这使得Transformer在理解上下文方面远胜于旧模型。

Q2. 什么是位置编码（positional encodings），为什么要使用它们？

Transformer模型本身无法感知词的顺序，因为它们是并行处理词的。位置编码通过为每个词元（token）添加一个代表其在句子中位置的信号来解决这个问题。这确保了“dog bites man”（狗咬人）不会与“man bites dog”（人咬狗）混淆。

Q3. 什么是多头注意力（multi-head attention），它如何增强LLM？

Transformer并非只进行一次注意力计算，而是并行使用多个“头”（heads）。每个头可以关注不同类型的关系——一个可能关注语法，另一个可能关注语义。将它们的结果结合起来，能让模型对语言有更全面的理解。

Q4. Transformer中的注意力分数是如何计算的？

注意力分数基于词与词之间的相似度。模型将一个查询向量（query vector，当前词）与所有键向量（key vectors，所有词）相乘，对结果进行缩放，然后应用softmax函数得到概率。这些概率决定了在生成输出时每个词应获得多少关注。

2. 训练与优化

Q2.1. 什么是掩码语言建模（masked language modeling），它如何帮助预训练？

掩码语言建模会随机隐藏句子中的一些词，并让模型利用上下文来猜测这些被隐藏的词。例如：“The [MASK] chased the mouse。”（[掩码]追赶老鼠）。这教会模型理解双向上下文（缺失词之前和之后）。像BERT这样的模型就是这样学习语言模式的。

Q2.2. 在文本生成中，top-k采样和top-p采样有何不同？

这两种方法都用于控制文本生成中的随机性：

• Top-k：从概率最高的k个词中进行选择（例如，前20个）。

• Top-p (nucleus)：从概率之和达到某个阈值p（例如，95%）的最小词汇集中进行选择。

Top-p更具适应性，通常能生成更自然、更多样化的结果。

Q2.3. 什么是过拟合（overfitting），在LLM中如何缓解？

当模型记住训练数据而不是学习通用模式时，就会发生过拟合。它在训练样本上表现很好，但在新数据上却表现不佳。减少过拟合的方法包括使用dropout（在训练期间随机关闭一些神经元）、早停（early stopping）或增加更多样化的训练数据。

Q2.4. 为什么在语言建模中使用交叉熵损失（cross-entropy loss）？

交叉熵用于比较模型预测的概率分布与正确答案（真实分布）。如果正确词的预测概率很低，损失值就会很高。最小化这个损失函数会促使模型为正确的下一个词分配更高的概率，从而提高文本预测的质量。

3. 微调与效率技术

Q3.1. 在LLM微调中，LoRA和QLoRA有什么区别？

• LoRA (Low-Rank Adaptation)：在一个冻结的模型中添加一些小的可训练矩阵，因此只需要训练少量新参数。

• QLoRA (Quantized LoRA)：在此基础上更进一步，通过使用更低的精度（如4位数值）来节省内存，这使得在单个GPU上微调巨型模型（如70B参数）成为可能。

Q3.2. LLM在微调过程中如何避免灾难性遗忘（catastrophic forgetting）？

在微调时，模型可能会“忘记”它之前学到的知识。为防止这种情况：

• 混合使用新旧数据进行训练。

• 使用像弹性权重巩固（Elastic Weight Consolidation）这样的技术来保护重要的权重。

• 添加独立的任务特定模块，而不是覆盖所有原有参数。

Q3.3. 什么是模型蒸馏（model distillation），它对LLM有什么好处？

模型蒸馏通过训练一个较小的“学生”模型来模仿一个大型“教师”模型。学生模型学习的不是硬标签（hard answers），而是教师模型的概率输出。这使得小模型在保持大部分性能的同时，运行得更快、更轻量——非常适合在手机或小型服务器上运行。

Q3.4. PEFT如何缓解灾难性遗忘？

参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）只更新模型参数的一小部分。通过冻结模型的大部分参数，它在学习新任务的同时保留了旧知识。LoRA是一种流行的PEFT方法。

4. 生成能力与推理

Q4.1. 与贪心解码（greedy decoding）相比，集束搜索（beam search）如何改进文本生成？

• 贪心解码：在每一步总是选择最可能的一个词。

• 集束搜索：在每一步保留多个可能的词序列（即“束”，beams），并对它们进行探索。

集束搜索通常能生成更连贯、质量更高的句子，尤其是在翻译等任务中。

Q4.2. 为什么提示工程（prompt engineering）对LLM的性能至关重要？

你提问的方式非常重要。一个模糊的提示，如“总结一下”，可能会得到随机的结果；而一个清晰的提示，如“用3个要点总结这篇文章”，则会引导模型给出结构化、有用的答案。提示工程在零样本（zero-shot）或少样本（few-shot）场景中尤其重要。

Q4.3. 检索增强生成（RAG）的步骤是什么？

RAG将外部信息与模型的内部知识相结合：

1. 检索（Retrieve）：使用嵌入（embeddings）找到相关的文档。

2. 排序（Rank）：按相关性对文档进行排序。

3. 生成（Generate）：将文档内容输入模型，以生成准确的答案。

这有助于减少幻觉（hallucinations）并提高事实准确性。

Q4.4. 什么是思维链（CoT）提示，它如何帮助推理？

思维链（Chain-of-Thought, CoT）提示引导模型一步一步地进行推理，而不是直接跳到最终答案。例如：在解决数学问题时，将其分解为更小的步骤。这提高了准确性，并使推理过程更容易理解。

5. 部署、挑战与应用

Q5.1. GPT-4与GPT-3在功能和应用上有何不同？

GPT-4是一次升级，具有：

• 多模态输入（可以处理文本+图像）。

• 更大的上下文窗口（25k词元，而GPT-3为4k）。

• 更高的事实准确性，得益于改进的微调。

这使其在视觉问答和长文档分析等任务中更为强大。

Q5.2. 混合专家模型（MoE）如何增强LLM的可扩展性？

混合专家模型（Mixture of Experts, MoE）将一个巨大的模型分解为多个较小的“专家”模块，并使用一个门控系统（gating system）为每个输入只激活其中的一部分专家。这意味着每次查询的计算量更少，同时保持了高性能，使得超大模型的运行更加高效。

Q5.3. 如果一个LLM生成了有偏见或不正确的输出，你将如何修复？

• 识别偏见或错误的模式。

• 使用更均衡、更多样化的训练数据。

• 使用精心策划的或对抗性的数据集进行微调，以减少不希望的行为。

• 添加外部事实核查机制（例如，RAG）。

这有助于提高模型的公平性和可靠性。

Q5.4. LLM在部署时面临哪些挑战？

• 资源成本：训练和运行大型模型的成本高昂。

• 偏见：它们可能会重复训练数据中的有害模式。

• 可解释性：很难解释它们为什么做出某个决策。

• 隐私与安全：存在泄露或滥用敏感数据的风险。

为了负责任地使用LLM，需要在设计时仔细考虑这些问题。

其它相关的详细知识点，大家可以针对性的补充积累，形成自己的知识技术栈，可以参考下图的知识点进行整理准备。

---

关于我们

看到这里，相信你对本文核心主题已经有了更深入的理解。但 AI 和大模型领域更新迭代极快，单篇文章的内容很难覆盖所有细节，只能算是入门铺垫。

我平时会在【小灰熊大模型】这个公・Z・号里，系统整理 AI 大模型相关的实用资料，比如最新模型技术白皮书、实战调参手册、行业落地案例合集，还会每周更新 AI 前沿动态速递。

里面沉淀的干货具体包括：

• 大模型入门学习路线图，帮新手少走弯路
• 大模型方向必读书籍 PDF 版，方便随时查阅
• 大模型面试题库，覆盖常见考点和高频问题
• 大模型项目源码，可直接参考实操
• 超详细海量大模型 LLM 实战项目，从 0 到 1 带练
• Langchain/RAG/Agent 学习教程，聚焦热门技术方向
• LLM 大模型系统 0 到 1 入门学习教程，适合零基础
• 吴恩达最新大模型视频 + 课件，同步前沿课程内容

一直以来，我都在专注分享 AI 与大模型领域的干货 —— 从基础原理拆解到进阶实战教程，从开源工具测评到商业落地思考，每一篇内容都尽量打磨得细致实用，希望能帮大家快速跟上技术浪潮。

如果需要上述资料，关注后在GZH后台回复关键词【大模型福利】就能获取，后续也会持续更新更多针对性资源，一起在 AI 领域慢慢深耕成长～