本周课程主要学习了两部分内容：第一部分是，重点包括多层感知机、XOR线性不可分问题、BP算法的正向传播与反向传播过程，以及BP算法的优缺点；第二部分是，重点包括为什么需要深度学习、PyTorch基本概念、卷积与池化操作、CNN中的误差反向传播、LeNet-5结构，以及AlexNet、VGG-16、ResNet等典型卷积神经网络。

课程首先介绍了深度学习视觉任务中常用的数据集。MNIST 是最基础的手写数字识别数据集，由 0 到 9 的手写数字灰度图像及其标签组成，包含 60000 个训练样本和 10000 个测试样本，每张图像大小为 28×28 像素。该数据集结构简单，常用于入门级图像分类算法验证。Fashion-MNIST 是 MNIST 的替代数据集，图像大小、数据格式以及训练集和测试集划分方式与 MNIST 基本一致

本周课程围绕Google团队于2017年提出的Transformer模型展开，重点介绍了其诞生背景、核心架构、各部分功能以及训练方法。Transformer模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全基于注意力机制，具有捕捉长距离语义依赖和支持并行训练两大显著优势。Transformer模型完全基于注意力机制，无需循环或卷积结构，在机器翻译等序列转换任务上取得了当时最优的结

大语言模型（Large Language Model, LLM）是基于海量文本数据训练的深度学习模型，能够生成自然语言文本并理解语义，完成摘要、问答、翻译等任务。典型代表包括GPT系列、文心一言、通义千问等。运作原理：模型采用“单字接龙”的方式，根据上文不断预测下一个字。将生成的字与上文组合成新的上文，循环往复即可生成任意长度的回答。模型的知识来源于预训练阶段学习的海量文本数据。多模态大模型旨在同

大语言模型（Large Language Model, LLM）是基于海量文本数据训练的深度学习模型，能够生成自然语言文本并理解语义，完成摘要、问答、翻译等任务。典型代表包括GPT系列、文心一言、通义千问等。运作原理：模型采用“单字接龙”的方式，根据上文不断预测下一个字。将生成的字与上文组合成新的上文，循环往复即可生成任意长度的回答。模型的知识来源于预训练阶段学习的海量文本数据。多模态大模型旨在同

本周课程围绕Google团队于2017年提出的Transformer模型展开，重点介绍了其诞生背景、核心架构、各部分功能以及训练方法。Transformer模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全基于注意力机制，具有捕捉长距离语义依赖和支持并行训练两大显著优势。Transformer模型完全基于注意力机制，无需循环或卷积结构，在机器翻译等序列转换任务上取得了当时最优的结

前向传播(forward pass)指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。反向传播(backward propagation)指的是计算神经网络参数梯度的方法。在卷积神经网络中，先理解前向传播中的卷积和池化。卷积是用卷积核在原始图像上遍历，对应元素相乘再求和，得到的新图像在尺寸上会有减小。可以通过下图直观的去理解。

前向传播(forward pass)指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。反向传播(backward propagation)指的是计算神经网络参数梯度的方法。在卷积神经网络中，先理解前向传播中的卷积和池化。卷积是用卷积核在原始图像上遍历，对应元素相乘再求和，得到的新图像在尺寸上会有减小。可以通过下图直观的去理解。

前向传播(forward pass)指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。反向传播(backward propagation)指的是计算神经网络参数梯度的方法。在卷积神经网络中，先理解前向传播中的卷积和池化。卷积是用卷积核在原始图像上遍历，对应元素相乘再求和，得到的新图像在尺寸上会有减小。可以通过下图直观的去理解。

Densefuse是由编码网络和解码网络构建的新型深度学习架构，使用编码网络提取图像特征，通过解码网络得到融合后的图像。编码网络由卷积层和密集块构建，其中每一层的输出用作下一层的输入。因此编码网络中每一层的结果都被用来构建特征图。最后，通过融合策略和解码网络对融合后的图像进行重建，该网络包括 4 个 CNN 层。如下图所示，输入图像统一记为I1​Ik​，原论文中假设输入图片都是预注册过的图片，因此