在 ACT 中，我们希望潜变量的分布接近一个简单的标准正态分布：这里的 \(p(z)\) 叫 Prior，先验分布。可以理解成我们提前规定：希望潜变量大体处在一个标准化、可预测的分布空间中。而 Encoder 根据示范动作预测的是：它叫近似后验分布。训练时希望两者不要相差太远：于是引入：KL Divergence，KL 散度。它用于衡量两个概率分布之间的差异。它不是普通欧氏距离，而且通常不对称。

内容Query 来源DecoderDecoderKey 来源DecoderEncoderValue 来源DecoderEncoderKey Shape注意力分数 ShapeValue 加权结果是否使用目标端因果 Mask是通常否主要任务整合已有目标端信息获取源端上下文信息理解这张表，基本就不会再把两套 QKV 混淆。假设某个子层输入为 X，经过 Attention 得到：\[ F(X) \]如果直

因为各个 Head 的结果需要重新组成模型下一层使用的统一特征表示。例如：这样才能方便地接入残差连接、后续 FFN 和下一层 Transformer。现在 Decoder 已经输出：但机器人需要的是：所以接一个我们最熟悉的nn.Linear由于nn.Linear只改变最后一个特征维度：于是：这就是完整的预测 Action Chunk。所以非常关键的一点是：Decoder 本身通常输出的是 Acti

它们都表示 Token 位置，但扮演的角色不同。第一个：\[ 10 \]表示：10 个 Query Token。第二个：\[ 10 \]表示：每个 Query 都要比较的 10 个 Key Token。所以元素：表示：第 \(i\) 个 Query Token 和第 \(j\) 个 Key Token 的匹配程度。因为对于一个固定 Query，我们希望：它对所有 Key 的注意力权重加起来等于 1

现在整体公式终于可以真正读懂：分成三步。第一步：\[ QK^T \]问：每个 Query 和每个 Key 有多匹配？得到：第二步：把匹配分数变成：每个 Token 应该关注其他 Token 的比例。仍然：第三步：即：得到：于是每个 Token 都得到一个融合其他 Token 信息的新表示。

B,T,D]

下一课我们暂时还不会直接写 Q/K/V。因为如果现在直接写：你很可能会知道怎么算，却不知道这里的：\[ X \]到底是什么。Transformer 看到的到底不是“图片”“语言”“关节状态”，而是一串 Token 表示。我们会把：进一步解释成：Sequence 和 Token 到底是什么关系；一个数字为什么不能直接代表 Token；Embedding 到底是什么；Language Token 怎么

可以用考试类比。训练集：平时给你的练习题。模拟考试。Test：最终考试。但真正决定考试难度的，并不是：考试有多少道题。而是：最终考试和练习题到底有多像。1 + 12 + 23 + 34 + 4属于同一种规律。求微积分就是完全不同的 Generalization。Robot Dataset 也是一样。所以评估一个模型之前，必须先看：也就是：数据到底按照什么规则被划成 Train / Validati

可以用考试类比。训练集：平时给你的练习题。模拟考试。Test：最终考试。但真正决定考试难度的，并不是：考试有多少道题。而是：最终考试和练习题到底有多像。1 + 12 + 23 + 34 + 4属于同一种规律。求微积分就是完全不同的 Generalization。Robot Dataset 也是一样。所以评估一个模型之前，必须先看：也就是：数据到底按照什么规则被划成 Train / Validati

上一课的核心其实只有一条链：所以答案也沿这条链来收。