logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Transformer & Vision Transformer

transformer输入的是一个序列数据,也就是词向量,然后对每个词向量都会添加一个位置编码,来让transformer得到词向量的位置信息,因为tansformer是基于self-attention的,而self-attention是感知不到位置信息的,self-attention会将各个词都计算他们之间的attention值,因此如果不添加位置编码,transformer充其量只能做一个词袋

文章图片
#transformer#深度学习#人工智能
到底了