SwiGLU 是什么？SwiGLU 是一种激活函数，结合了门控线性单元（GLU）和 Swish/SiLU 激活。SwiGLUxSiLUx⋅Wgate​⊙x⋅Wup​然后再通过一个输出投影矩阵WdownWdown​将维度映射回。在 LLaMA 模型中，这三个投影都是无偏置的。gate_proj：将输入从映射到。

把通道放到最后，再合并前两个空间维度，就能确保每个空间位置的通道向量保持完整，这正是 Transformer 所需要的"每个序列位置的特征向量"。用均值为 0、标准差为 0.1 的正态分布随机数来初始化这个权重矩阵。因为仅仅是演示，所以“随便初始化一下”，实际训练中也可以用其他初始化方式。创建一个 PyTorch 官方提供的嵌入层对象。，符合 PyTorch 自定义 Function 的规范。，会

TODO操作核心目的1屏蔽 prompt 部分的损失2超长截断 / 不足填充（pad 处 label 填 -100）统一长度，填充位置不计算损失3切掉 logits 最后一维、切掉 labels 第一维对齐自回归预测与真实标签4展平后用只计算有效 response 部分的交叉熵这四个步骤完整实现了 SFT 的数据处理和损失计算流程，是当前大语言模型微调的基础。

把通道放到最后，再合并前两个空间维度，就能确保每个空间位置的通道向量保持完整，这正是 Transformer 所需要的"每个序列位置的特征向量"。用均值为 0、标准差为 0.1 的正态分布随机数来初始化这个权重矩阵。因为仅仅是演示，所以“随便初始化一下”，实际训练中也可以用其他初始化方式。创建一个 PyTorch 官方提供的嵌入层对象。，符合 PyTorch 自定义 Function 的规范。，会