
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Transformer & Vision Transformer
transformer输入的是一个序列数据,也就是词向量,然后对每个词向量都会添加一个位置编码,来让transformer得到词向量的位置信息,因为tansformer是基于self-attention的,而self-attention是感知不到位置信息的,self-attention会将各个词都计算他们之间的attention值,因此如果不添加位置编码,transformer充其量只能做一个词袋

到底了







