深度卷积神经网络的突破出现在2012年。

专家系统是一种智能的计算机程序，它运用知识和推理来解决只有专家才能解决的复杂问题。是一类包含知识和推理的智能计算机程序。

X = torch . tensor([ [ 1. , 2. , 3. ] , [ 4. , 5. , 6. ] ]) X . sum(0 , keepdim = True) , X . sum(1 , keepdim = True) # 非降维求和 参见2.3.6[15.]]))softmaxXijexp⁡Xij∑kexp⁡XiksoftmaxXij​∑k​expXik​expXij​​对每个项

def init_gru_state(batch_size, num_hiddens, device): # 隐状态初始化H, = state # 优雅，逗号解包Z = torch.sigmoid((X @ W_xz) + (H @ W_hz) + b_z) # 更新门运算 @符号做哈达玛积R = torch.sigmoid((X @ W_xr) + (H @ W_hr) + b_r) # 重置门

下面实例化的多层感知机的输入维度是未知的，因此框架尚未初始化任何参数，显示为“UninitializedParameter”。一旦指定了输入维度，框架就可以一层一层的延迟初始化。

从计算的角度来讲，指数可能会造成数值稳定性问题，即可能会发生溢出。解决上溢问题可在 softmax 运算前先从所有。（2）增加轮数，为什么测试精度会在一段时间后降低？我们如何解决这个问题？（1）尝试调增超参数，例如批量大小、轮数和学习率，并查看结果。为过小的负值时则又可能发生下溢，此时可以尽量避免计算。

多头注意力（multihead attention）:用独立学习得到的 h 组不同的线性投影（linear projections）来变换查询、键和值，然后并行地送到注意力汇聚中。最后，将这 h 个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。对于 h 个注意力汇聚输出，每一个注意力汇聚都被称作一个头（head）。

queries和attention_weights的形状为(查询个数，“键－值”对个数)# values的形状为(查询个数，“键－值”对个数)

（4）显示不同输入（例如，毛衣和外套）时 LetNet 第一层和第二层的激活值。（2）尝试构建一个基于 LeNet 的更复杂网络，以提高其精准性。（3）在 MNIST 数据集上尝试以上改进后的网络。（1）将平均汇聚层替换为最大汇聚层，会发生什么？

的卷积失去了卷积层在高度和宽度维度上识别相邻元素间相互作用的能力。可以将其看作再每个像素位置的全连接层。（5）本节最后一个示例中的变量 Y1 和 Y2 是否完全相同？的数量加倍，计算量会增加多少？如果我们把填充数翻一番会怎么样？简言之，多通道即为单通道之推广，各参数对上即可。（1）假设我们有两个卷积核，大小分别为。的数量加倍则计算量会增加 4 倍。（4）如果卷积核的高度和宽度是。时，如何使用矩阵乘