大模型每一层transformer输出的激活值会膨胀
·
- 这两天突然想把每一层transformer+ffn之后的隐藏层打印出来看看数据分布
实验资源：
| 项目 | 值 |
|---|---|
| 模型 | Qwen2.5-0.5B |
| hidden_size | 896 |
| num_hidden_layers | 24 |
| num_attention_heads | 14 |
| num_kv_heads | 2 |
| intermediate_size | 4864 |
| vocab_size | 151936 |
实验过程
把隐藏层896维拼接成1维数组，按维度序号排列，值是激活值大小
发现：
- 随着层数加深，所有维度数值都在逐渐膨胀（推测可能是加了残差导致数值一直变大）
- 第一个token最先膨胀
- 最后一层所有token都发生了较大的膨胀
实验结果
序列"The capital of France is Paris."
更多推荐
7
0- 0
已为社区贡献1条内容
所有评论(0)