Transformer 内部的自注意力层会计算输入特征中各个元素的重要性权重，例如，当任务是“拿起杯子”时，它会更加关注代表“杯子位置”和“夹爪状态”的特征。它如同一位破局者，通过创新的算法设计和巧妙的硬件整合，证明了在“廉价”的设备上实现“昂贵”的性能并非天方夜谭，为灵巧操作机器人的普及化浪潮拉开了序幕。以下是根据其官方代码。它的输入是一种被称为“多模态提示（Multimodal Prompt）

9. 这一步是怎么做的”把 ℎ 𝑡 （或者对所有位置的 ℎ 𝑖再做一次处理）用来估计当前生成序列的总体价值 𝑉 ( 𝑠 𝑡 )。

​​结构本质​​：通过时间步循环传递隐藏状态，建模序列依赖​​核心缺陷​​：基础RNN存在梯度消失/爆炸，需LSTM/GRU优化​​工程价值​​：语音、文本等时序任务的基础架构%20b_h%29%20b_y%29%20b_i%29%20b_f%29%20b_z%29%20b_r%29%20b_h%29%20b_y。

当神经科学家使用可变形卷积分析大脑皮层神经元动态时，他们发现了一个惊人现象：DCN学习的偏移模式竟然与人眼扫视路径高度吻合——这暗示着生物视觉系统可能采用着类似的弹性采样机制。可变形卷积不仅是算法突破，更是人类理解视觉智能本质的关键钥匙。从纳米级的细胞运动跟踪到千米级的卫星图像分析，从刚性的工业零件到变形的人体动作，可变形卷积正成为视觉智能的通用几何语言。

Head 要轻量：大模型已学到丰富表示，Head 只做任务映射即可输出空间匹配任务：分类 → softmax，回归 → 实数向量，动作生成 → 连续动作训练方式：大模型可冻结或微调，Head 必须可训练共享与可扩展：不同任务可共享底层大模型，只换 Head 即可。

损失函数设计是深度学习工程中​​微妙的平衡艺术​​——在数学严谨性与应用需求之间，在理论完备性与计算效率之间。

该部分内容会在另一篇文章《矩阵求导的补充》里面进行详细说明。

​​1986年​​：SGD伴随反向传播诞生，支持LeNet识别手写数字​​2012年​​：Momentum优化助力AlexNet引爆深度学习的ImageNet革命​​2015年​​：Adam自适应优化器成为深度学习标准配置​​2018年​​：AdamW解决Transformer优化难题，支撑BERT革命​​2023年​​：Lion突破训练速度瓶颈，千亿大模型训练成本降低60%

报错信息为“ValueError: The model's max seq len (4096) is larger than the maximum number of tokens that can be stored in KV cache (2704). Try increasing。设置了最大模型长度为4096，这个有的时候会因为硬件原因超出KV缓存的最大长度。然后切换到LlamaFac

在训练深度神经网络时，梯度就像是给模型指明方向的罗盘，但这个罗盘有时会突然变成引爆器——当梯度爆炸发生时，模型参数会以每秒数十亿次的运算速度冲向数值悬崖，最终导致整个训练崩溃。梯度裁剪(Gradient Clipping)正是防止这种灾难的关键安全装置。