
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
以对对子为例的transformer过程
摘要:对对联"天王盖地虎"→"宝塔镇神妖"的过程解析:1)输入分词为5个字token;2)通过512维词向量矩阵进行Embedding编码;3)经12层Transformer处理,每层通过自注意力机制建立字间关联(如"虎"关注"盖");4)基于最后一字向量生成概率分布,依次自回归输出5个目标token。BGE等嵌入模型

到底了

该用户还未填写简介
暂无可提供的服务
摘要:对对联"天王盖地虎"→"宝塔镇神妖"的过程解析:1)输入分词为5个字token;2)通过512维词向量矩阵进行Embedding编码;3)经12层Transformer处理,每层通过自注意力机制建立字间关联(如"虎"关注"盖");4)基于最后一字向量生成概率分布,依次自回归输出5个目标token。BGE等嵌入模型
