logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

对《Attention is all you need》中transformer工作机制的理解与认识

此时,该层会再分配给这个索引对应的词一个固定维度的随机向量,因为是从零构建transformer,我们得对其训练,使该向量包含这个词的各种性质。当transformer进行翻译工作时,假设翻译内容是“猫追老鼠”,我们将得到三个固定维度的向量(假设300维度),分别是“猫”对应的向量,“追”对应的向量以及“老鼠”对应的向量。举例,如要将300维度K1分割成三个100维度的K_1、K_2和K_3需要w

#transformer#深度学习#人工智能
到底了