本文档旨在为大语言模型（LLM）、视觉语言模型（VLM）、智能体（Agent）、RAG及相关领域的面试提供一个全面的复习指南。本文参考datawhale，稍作修改。参考答案：自注意力（Self-Attention）机制是Transformer模型的核心，它使得模型能够动态地衡量输入序列中不同单词之间的重要性，并据此生成每个单词的上下文感知表示。工作原理如下：生成Q, K, V向量： 对于输入序列中

GAT层和GATEAU层的区别

二分法作为最基础的搜索逻辑，在我的印象中当时第一次接触这个概念是中学，当时就觉非常神奇，简直是把人类智慧和直觉的象征。接触机器学习，知道了没有免费午餐理论(那就是说二分法在有序数组中的高效性是因为它利用了问题的结构（有序性），而NFL定理告诉我们，如果不考虑问题的特定结构，所有算法的平均性能是一样的。所以，当问题符合某种结构时，针对该结构设计的算法（如二分法）才能优于其他算法，否则可能不如其他方法