ConvGRU神经网络的介绍1.卷积神经网络介绍卷积神经网络(convlutional neural network)是一种具有局部连接，权重共享等特性的深层前馈神经网络特点：局部连接：在卷积层中每一个神经元都只和前一层中的某个局部窗口内的神经元相连，构成一个局部神经网络权重共享参数的卷积核w(l)w^{(l)}w(l)对于第l层的所有神经元都是相同的汇聚优点：平移、缩放、旋转不变性组成：目前卷积

注意力机制：pytorch实现查询（queries），键（keys）和值（Values）查询、键和值是注意力机制的基本三个关键词，注意力评分函数则是注意力机制建立的主要方式，注意力机制就是以这三个关键词为基础通过注意力评分函数进行花式操作：加性注意力、乘积注意力、软硬注意力和多头注意力等查询(queries): 是自主性提示，告诉你应该关注什么键(keys): 为非自主提示，为所需的所有信息值(v