神经元的工作原理大脑神经系统无论从构造和功能来讲，都称得上是一个非常复杂的巨系统。2019年8月，谷歌与霍华德休斯医学研究所(HHMI)和剑桥大学合作，发布了一项最新深入研究果蝇大脑的研究成果——自动重建整个果蝇的大脑。果蝇的一个重要优势是它们的大小：果蝇的大脑相对较小，只有10万个神经元，相比之下，老鼠的大脑有1亿个神经元，人类的大脑有1000亿个神经元。研究人员称，由于成像的高分辨...

梯度下降法（Gradient Descent）通过第五章《神经网络的学习（训练）》和第七章《损失函数》的介绍，我们已经知道，神经网络通过不断迭代在学习时寻找最优参数（权重和偏置）。这里所说的最优参数是指损失函数取最小值时的参数。但是一般而言，损失函数很复杂，参数空间很庞大，很难采用数学方程方法来直接求解损失函数的最小值，而是采用极限无限逼近的方法（也就是我们所说的梯度下降法）。假设：位于三...

感知机感知机(Perceptron) 是神经网络的起源算法，由两层神经元组成，如下图所示，输入层接收外界输入信号后传递给输出层输出层是M-P神经元在两个输入的情况下，感知机可以简化为如下形式：其中是被称为偏置的参数，用于控制神经元被激活的容易程度和是表示各个信号的权重的参数，用于控制各个信号的重要性逻辑电路与感知机我们考虑用感知机来表示逻辑电路。简单逻...

1—序篇2—AI / ML / DL的基本概念3—神经元的工作原理4—感知机——神经网络的雏形5—神经网络的学习（训练）6—激活函数7—损失函数8—梯度下降法9—误差反向传播法10—与学习(训练)相关的技巧11—卷积神经网络12—深度学习的其他类型

损失函数在第五章《神经网络的学习（训练）》中，我们介绍神经网络的训练过程中，需要不断对权重进行调整。调整权重的目的是为了得到一组最终权重，使得输入的特征数据的输出达到我们的期望值，也就是神经网络的实际输出值与期望输出值误差最小。那么问题来了：如何度量两组数据之间的差异？序号实际输出值期望输出值（Label）1数据a数据b2323.1...

神经元的工作原理大脑神经系统无论从构造和功能来讲，都称得上是一个非常复杂的巨系统。2019年8月，谷歌与霍华德休斯医学研究所(HHMI)和剑桥大学合作，发布了一项最新深入研究果蝇大脑的研究成果——自动重建整个果蝇的大脑。果蝇的一个重要优势是它们的大小：果蝇的大脑相对较小，只有10万个神经元，相比之下，老鼠的大脑有1亿个神经元，人类的大脑有1000亿个神经元。研究人员称，由于成像的高分辨...

权重(和偏置)微小变化的传播，会最终传播影响到输出层。实际上，反向传播算法就是追踪权重(和偏置)的这种微小的变化是如何影响到损失函数的技术。反向传播算法的特点是效率高。反向传播可以同时计算所有的偏导数，仅仅使用一次前向传播，加上一次后向传播。假设对一个节点求偏导需要的时间为单位时间，运算时间呈线性关系，那么网络的时间复杂度如下式所示：O(Network Size)=O(V+E)，V为节点数、E为连

权重(和偏置)微小变化的传播，会最终传播影响到输出层。实际上，反向传播算法就是追踪权重(和偏置)的这种微小的变化是如何影响到损失函数的技术。反向传播算法的特点是效率高。反向传播可以同时计算所有的偏导数，仅仅使用一次前向传播，加上一次后向传播。假设对一个节点求偏导需要的时间为单位时间，运算时间呈线性关系，那么网络的时间复杂度如下式所示：O(Network Size)=O(V+E)，V为节点数、E为连

梯度下降法（Gradient Descent）通过第五章《神经网络的学习（训练）》和第七章《损失函数》的介绍，我们已经知道，神经网络通过不断迭代在学习时寻找最优参数（权重和偏置）。这里所说的最优参数是指损失函数取最小值时的参数。但是一般而言，损失函数很复杂，参数空间很庞大，很难采用数学方程方法来直接求解损失函数的最小值，而是采用极限无限逼近的方法（也就是我们所说的梯度下降法）。假设：位于三...

神经元的工作原理大脑神经系统无论从构造和功能来讲，都称得上是一个非常复杂的巨系统。2019年8月，谷歌与霍华德休斯医学研究所(HHMI)和剑桥大学合作，发布了一项最新深入研究果蝇大脑的研究成果——自动重建整个果蝇的大脑。果蝇的一个重要优势是它们的大小：果蝇的大脑相对较小，只有10万个神经元，相比之下，老鼠的大脑有1亿个神经元，人类的大脑有1000亿个神经元。研究人员称，由于成像的高分辨...