通过线性投影层将两种模态的特征映射到同一高维空间，使得匹配的图文对向量距离更近。Decoder不需要图片和文字成对的资料，这个额外的Decoder的好处就在这里，这个docoder的训练：如果中间产物是小图，那只用把手上的图片找出来把他们变成小图然后进行训练。这个模型里面有一个Image Encoder和一个Text Encoder，这两个输入数据后分别产生一个向量，如果这个图片和文字相关的，那么

1 加载数据集fashion_minst2 搭建class NeuralNetwork模型3 设置损失函数，优化器4 编写评估函数5 编写训练函数6 开始训练7 绘制损失，准确率曲线。

如果是冬天太久没使用打开电脑，电脑网卡掉了，可以关机后拔掉电脑所有插口，然后长按开机键30s后开机。

比如机器学习算法对训练数据中的噪声、离群点不敏感，或者在不同分布的数据集上表现稳定。模型在含有错误标签或噪声特征的数据上训练或预测时，性能下降不大。模型不易被精心设计的微小扰动（对抗样本）欺骗而做出错误预测。模型在训练数据分布以外的数据上依然有较好的表现。

一开始conv1，第一层卷积层，去运算的时候，以前全连接的时候直接展平，现在是三维的，通道数是1（黑白照片），卷积的时候卷积核也是（1,3,3），但现在卷积核的尺寸实际上是立方体，虽然写的是2d，这是接口的这么一个设计，之所以是2d是因为在两个维度上进行移动（上下左右），不像以前的全连接是一维的必须展平。nn.MaxPool2d(2,2)，前面一个2代表池化核大小是2*2，后面的2代表步长。池化一

1.常数：scaler：0阶张量——标量2.向量：vector：1阶张量3.矩阵：matrix：2阶张量4.三阶张量。

1 加载数据集fashion_minst2 搭建class NeuralNetwork模型3 设置损失函数，优化器4 编写评估函数5 编写训练函数6 开始训练7 绘制损失，准确率曲线。

普通的RNN信息不能长久传播，因为结尾较远的信息被稀释的比较厉害，所以引入LSTM，LSTM 是一种特殊的循环神经网络（RNN），专门设计用于解决传统RNN在处理与RNN相比，LSTM在计算隐藏层时，会包含当前时刻的日记信息。LSTM通过，显式控制信息的保留与遗忘，从而解决长期依赖问题。门机制是通过学习对原权重进行更新。遗忘门：决定细胞状态中哪些信息需要被丢弃（通过Sigmoid函数输出0~1之间

熵：信息增益：信息增益=信息熵-条件熵前者是初始信息熵大小，后者是因为条件加入后带来的确定性增加信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度信息增益越大说明影响越大。

self.rnn = nn.RNN(embedding_dim, hidden_dim, num_layers=num_layers, batch_first=True, bidirectional=bidirectional) #bidirectional是双向的#把final_hidden去除轴size为1的，和x进行比较，里边元素是否相等# 取最后一个时间步的输出 (这也是为什么要设置pad