如果将深度定义为网络中信息传递路径长度的话，循环神经网络可以看作既“深”又“浅”的网络。一方面来说，如果我们把循环网络按时间展开，长时间间隔的状态之间的路径很长，循环网络可以看作一个非常深的网络。从另一方面来 说，如果同一时刻网络输入到输出之间的路径𝑡，这个网络是非常浅的。本文我来学习两种常见的增加循环神经网络深度的做法。

最近一直在学习神经网络，有一些收获，也有一些迷惑，所以驻足思考：为什么简单的激活函数如sigmoid函数、ReLU函数，当应用在神经网络的模型中，却可以实现对现实世界复杂的非线性关系的模拟呢？本文我们来进行理解其中的原理。

卷积神经网络中，每个卷积核的尺寸为 k×k×Cin​，这一设计的核心原因在于多通道输入的数据结构和跨通道特征整合的需求。本文我们专门针对卷积核的尺寸进行研究学习，了解其原理和始末。

本文我们来学习高维变量（空间）的非凸优化，深度神经网络是一个高度非线性的模型，其风险函数是一个非凸函数，因此风险最小化是一个非凸优化问题。此外，深度神经网络还存在梯度消失问题。因此，深度神经网络的优化是一个具有挑战性的问题。

神经网络回归是基于人工神经网络（ANN）实现的一种回归分析方法。它通过模拟人类神经元的工作原理，利用神经元和权重的组合，从输入数据中学习复杂的非线性关系，从而预测一个连续值（即回归任务）。

残差网络（Residual Network，简称 ResNet）是一种特殊的深度神经网络结构，由 Kaiming He 等人在 2015 年提出，目的是解决深层网络训练中出现的退化问题和梯度消失问题，本文我们来学习残差网络。

本文我们来学习和了解简单循环网络(Simple Recurrent Network，SRN)， SRN是一个非常简单的循环神经网络，只有一个隐藏层的神经网络。简单循环神经网络，也常称为 Elman 网络，是最基本的循环神经网络（RNN）架构。它通过在隐藏层中引入循环连接，使网络能够处理序列数据，并记忆之前的输入信息。

本文我们来学习cnn经典网络之AlexNet，AlexNet是深度学习领域具有里程碑意义的卷积神经网络（CNN），由Alex Krizhevsky等人于2012年提出，并在ImageNet图像分类竞赛（ILSVRC）中以显著优势夺冠，推动了深度学习在计算机视觉中的广泛应用。

卷积层（Convolutional Layer）是卷积神经网络（CNN）的核心组件，专门用于处理具有网格结构的数据（如图像、音频、时间序列等）。它的核心思想是通过局部连接和权重共享，高效提取数据的局部特征。

本文我们通过两个简化的例子，展示如何从前向传播、损失计算，到反向传播推导梯度，再到参数更新，完整地描述卷积层的参数学习过程。