在大型语言模型中，KV Cache（Key-Value缓存）的主要作用是存储历史token的Key和Value向量，以加速自回归生成过程，避免重复计算。然而，随着序列长度的增加，KV Cache的显存占用也会线性增长，成为显存瓶颈。为了优化内存占用，Window Attention（窗口注意力）机制被引入，它通过滑动窗口的方式限制每个token的注意力范围，仅关注局部窗口内的历史信息，从而显著减少

CoT通过单一路径生成推理链，具有低计算成本和强可解释性，但容易因单步错误导致最终错误。Self-Consistency则通过多路径生成和集成，提升了准确性，尤其在复杂任务中表现更优，但计算成本较高。CoT适用于简单任务和实时交互场景，而Self-Consistency更适合高价值决策任务。两者在推理机制、计算成本和适用场景上各有优劣，选择时需根据具体需求权衡效率与精度。

【大模型面试每日一题】Day 14：大模型训练中显存占用的主要来源有哪些？如何通过激活重计算降低显存？

面试官：当序列长度超过10万时，你会如何改进Self-Attention？

介绍了大型语言模型的微调技术，重点探讨了有监督微调（SFT）和高效微调方法（PEFT）。有监督微调通过标注数据对预训练模型进行二次训练，使其适应特定任务，类似于医生通过专科培训获得特定领域的诊疗能力。SFT的步骤包括数据收集与预处理、模型选择与初始化、评估与优化。高效微调方法如LoRA、Adapter和Prefix Tuning则通过引入低秩矩阵、小型神经网络模块或可学习前缀向量，显著减少计算资源

介绍了大型语言模型的微调技术，重点探讨了有监督微调（SFT）和高效微调方法（PEFT）。有监督微调通过标注数据对预训练模型进行二次训练，使其适应特定任务，类似于医生通过专科培训获得特定领域的诊疗能力。SFT的步骤包括数据收集与预处理、模型选择与初始化、评估与优化。高效微调方法如LoRA、Adapter和Prefix Tuning则通过引入低秩矩阵、小型神经网络模块或可学习前缀向量，显著减少计算资源

请解释Transformer中Self-Attention的计算过程，并说明为什么它在处理长序列时优于RNN？（考察概率：90%）

介绍了大型语言模型的微调技术，重点探讨了有监督微调（SFT）和高效微调方法（PEFT）。有监督微调通过标注数据对预训练模型进行二次训练，使其适应特定任务，类似于医生通过专科培训获得特定领域的诊疗能力。SFT的步骤包括数据收集与预处理、模型选择与初始化、评估与优化。高效微调方法如LoRA、Adapter和Prefix Tuning则通过引入低秩矩阵、小型神经网络模块或可学习前缀向量，显著减少计算资源

在模型训练过程中，损失函数（Loss）突然出现剧烈波动（Spike）可能由多种原因引起。常见原因包括数据批次异常（如极端值或标签错误）、学习率过高或调度器故障、梯度爆炸或消失、数值不稳定性（如除以极小值或log(0)）、模型设计缺陷、优化器状态异常、分布式训练同步问题或代码逻辑错误。

介绍了大型语言模型的微调技术，重点探讨了有监督微调（SFT）和高效微调方法（PEFT）。有监督微调通过标注数据对预训练模型进行二次训练，使其适应特定任务，类似于医生通过专科培训获得特定领域的诊疗能力。SFT的步骤包括数据收集与预处理、模型选择与初始化、评估与优化。高效微调方法如LoRA、Adapter和Prefix Tuning则通过引入低秩矩阵、小型神经网络模块或可学习前缀向量，显著减少计算资源