例如，“我 喜欢 你”和“你 喜欢 我”含义不同，但如果没有位置编码，模型无法区分。RoPE 的核心作用是通过“旋转”的方式，把位置信息注入到 Attention 的 Query 和 Key 中；Attention 权重由 QK 的点积决定，如果没有位置信息，模型只能根据 token 内容相似度做注意力分配，无法感知顺序。其中 s 为缩放倍数，gamma_i ∈ [0,1] 是线性 ramp，决定