每一步，模型都会保留所有之前已经写好的token的K和V，并为新的位置计算一个新的Q。” 每次都是一个新的查询。• 要回答这个问题，你需要将它与之前token（你缓存了这些token）的所有键进行比较，然后使用这些token（也缓存了这些token）的值来构建加权和。这就是为什么大模型的语言感觉流畅的原因：模型生成的每一个词都是在回顾所有内容，包括之前的整条消息和模型之前的回复的同时参与计算，而不

生成一个 token 后，模型会将其附加到上下文中，重新计算网络（或部分计算），然后预测下一个 token。在模型内部，它会查看迄今为止的整个输入（你的单词 + 模型之前的 token），并预测最有可能的下一个 token。”，并相应地分配权重。最终得到的不仅仅是一条思路，而是一张关联图，一个不断变化的领域，记录着谁在“观察”谁。然后，所有这些头的输出被连接和混合，使该层在传递到下一层之前拥有丰富