从复杂度上来讲，其实要比layernorm要高，但是更简明和几何化。

但是真正的查询向量Q又是和序列有关的，不同的序列有不同的查询向量。因此降低复杂度的一个行之有效的方法是降低查询的次数。然后正常按照transformer的办法用Q向量与每个token的key向量。,0,0)时，相当于只对比例为1的token做查询。的计算是存在递归公式的，因此其复杂度为seq len线性相关，缺点是无法并行。向量为竞争向量，通过softmax归一化得到分布在tokens上的权重，根