NLP：nature language process自然语言处理如何表示文字，用向量编码。图中的(16,4,768)为（batch，4个，768个/行向量）（一般的transformer模型用768维向量表示字）独热编码（一个超长向量表示字，是哪个字，对应的位置置1）表示字的缺点：1、向量很长。2、不能表示字的含义，例如猫和狗理论上都属于动物，但是独热编码体现不出这种关系。替代方案：word e