【清华代码熊】GLM-5.2 使用的interleaved RoPE 原理详解
·
📌 GLM-5.2 的主分支注意力改用 DeepSeek 风格的 interleaved RoPE，indexer 仍然用非交错的 half-split RoPE（GLM-5 主分支注意力的实现）。
🎯 今天来解析 interleaved RoPE 相对 half-split RoPE 的区别。
更多推荐
3
0- 0
已为社区贡献1条内容
已为社区贡献1条内容
所有评论(0)