登录社区云,与社区用户共同成长
邀请您加入社区
该用户还未填写简介
暂无可提供的服务
Attention 是"线性聚合",没有真正的非线性变换。FFN 补上这个能力。: 2 层 MLP + GELU 激活。