机器学习的问题中，过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。机器学习的目标是提高泛化能力，即便是没有包含在训练数据里的未观测数据，也希望模型可以进行正确的识别。我们可以制作复杂的、表现力强的模型，但是相应地，抑制过拟合的技巧也很重要。

首先，来看一下CNN的网络结构，了解CNN的大致框架。CNN和之前介绍的神经网络一样，可以像乐高积木一样通过组装层来构建。不过，CNN中新出现了卷积层（Convolution 层）和池化层（Pooling 层）。卷积层和池化层将在下一节详细介绍，这里我们先看一下如何组装层以构建CNN。之前介绍的神经网络中，相邻层的所有神经元之间都有连接，这称为另外，我们用Affine层实现了全连接层。如果使用这个

今天我们实现了一个完整的卷积神经网络，虽然结构简单，但包含了CNN的所有核心组件。CNN的网络结构卷积层和池化层的作用前向传播和反向传播的实现CNN在图像识别中的优势有了深入的理解。CNN的成功不仅在于其强大的特征提取能力，更在于它完美地契合了图像数据的特性。在深度学习的道路上，理论与实践同样重要。亲手实现一个算法，比读十篇论文理解得更深刻！

网络结构相关：各层神经元数量、层数训练过程相关：学习率、批大小（batch size）、训练轮数（epoch）正则化相关：权重衰减系数、Dropout比率设置不合适的超参数值，就像用错误的钥匙开锁，模型性能永远无法达到最佳。超参数优化是深度学习中的一项必要技能。虽然有些耗时，但正确的超参数能让你的模型性能大幅提升。记住这个核心思想逐渐缩小搜索范围，科学试错，而不是盲目尝试。有什么问题或经验，也欢迎

Epoch表示所有训练数据都被使用过一次的更新次数。训练数据：60,000个mini-batch大小：100个每个epoch需要：60,000 ÷ 100 = 600次迭代Mini-batch学习：使用小批量数据而不是全部数据，兼顾效率和效果梯度下降：沿着梯度方向更新参数，是神经网络学习的核心超参数调整：学习率、批量大小等需要精心设置防止过拟合：需要同时监控训练集和测试集的性能数值微分vs反向传播

式（3.3）表示的激活函数以阈值为界，一旦输入超过阈值，就切换输出。这样的函数称为“阶跃函数”。因此，可以说感知机中使用了阶跃函数作为激活函数。也就是说，在激活函数的众多候选函数中，感知机使用了阶跃函数。那么，如果感知机使用其他函数作为激活函数的话会怎么样呢？实际上，如果将激活函数从阶跃函数换成其他函数，就可以进入神经网络的世界了。下面我们就来介绍一下神经网络使用的激活函数。

从2017 年开始，一种新的模型架构开始在大多数自然语言处理任务中超越RNN，它就是Transformer 由Ashish Vaswani 等人的奠基性论文“Attention Is All You Need”a 引入。这篇论文的要点就在标题之中。事实证明，一种叫作神经注意力（neural attention）的简单机制可以用来构建强大的序列模型，其中并不包含任何循环层或卷积层。这一发现在自然语言

fill:#333;stroke:1;fill:none;important;important;important;important;important;important;important;important;important;important;important;important;important;important;important;important;

支持丰富的可视化类型：scalar（标量）、image（图像）、histogram（直方图）、audio（音频）、text（文本）、graph（计算图）、embedding（嵌入向量）、pr_curve（PR曲线）等。与 TensorBoard 完美兼容：可以无缝使用 TensorBoard 的 Web 界面进行数据展示。简单易用的接口设计：通过类即可实现数据写入与可视化。TensorBoardX

1、微软基础类库(MFC)简介本系统上位机软件设计是基于 MFC进行开发的，MFC(Microsoft FoundationClasses)是微软基础类库的简称，提供了基于 C++语言的面向对象编程的框架，软件工程师可以使用该框架开发 Windows 应用程序。本系统采用 MFC 作为上位机软件开发工具，主要原因是：(1) MFC 使用 C++作为底层编写语言，并对大多数常用的 Windows A