多头注意力

注意力评分函数：加性注意力，缩放点积注意力

训练深层神经网络是十分困难的，批量规范化（batch normalization） 是一种流行且有效的技术，可持续加速深层网络的收敛速度。

多头注意力

像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输

注意力评分函数：加性注意力，缩放点积注意力

注意力评分函数：加性注意力，缩放点积注意力

环境虚拟机：VMware虚拟机系统：Centos7宿主机系统：Windows10 / Windows11步骤我的做法是将虚拟机ip映射到localhost访问，具体如下：首先将虚拟机网络适配器改为NAT模式：然后进入虚拟网络编辑器：选择VMnet8，点击NAT设置：添加一个对应虚拟机的端口转发，我这里是开放4040端口，要记得设置虚拟机的ip为静态ip：如果虚拟机开了防火墙，记得让虚拟机开放端口：

像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输

像这样的，查询、键和值来自同一组输入的注意力机制，被称为自注意力（self-attention）或者内部注意力（intra-attention）。总而言之，卷积神经网络和自注意力都拥有并行计算的优势，而且自注意力的最大路径长度最短。DETR中，为了保留特征的空间信息，没有将二维数据平铺为一维，而是分别对行和列进行位置编码。在自注意力机制中，词向量是不带位置信息的，也就是说，将词的顺序打乱，得到的输