几年前就想写这篇文章，但是在解析神经网络的数学原理问题上断断续续，加上个人能力有限，很多问题并没有研究的很明白，以及神经网络本身高维问题的复杂性，导致这个问题的理解也是片面的。个人希望在这篇文章里抛砖引玉，让大家能更深入理解神经网络内部的基础数学原理与编码逻辑，启发大家后面的工作，如有错误请不吝啬指出。本文不会过多的介绍梯度下降或反向传播等参数更新的原理或动力学过程，而是以前向过程（Feed Fo

以前的文章主要描述了神经网络，即多层感知机、全连接模型的运行原理，还是以实验为主，数学描述为辅的方式，这篇文章以纯数学的视角来描述神经网络的运行原理，主要以前馈过程为主（反向传播的动力学过程还是比较复杂，正向过程还未完全研究清楚，暂时还未考虑）。通过本篇文章，希望大家能理解神经网络的数学原理，如有错误请不吝指出。

这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。

最近几年深度学习的快速发展对目标检测（Object Detection）领域也产生了巨大的影响，各种SOTA（State of Art）的模型也层出不穷，包括但不限于Faster-RCNN，YOLO，SSD，FCOS等等，很多时候我们看论文和模型容易陷入其复杂的细节之中，而得不到全局的视野，尤其是像Yolo系列各种堆版本也是看的眼花缭乱。事物的发展也许就是这样的吧，刚开始都是各种复杂，越到后面越能

最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数fxx2f(x)=x^2fxx2时(这个激活函数想法来源于fxReLU2x3fxReLU2x3)，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。

最近研究超平面排列(Hyperplane Arrangement)问题的时候，发现ReLU有其缺陷，即举例来说，ReLU 无法使用单一的超平面将分离的所有数据，完整的输出，即只会输出半个空间映射的数据，而另一半空间的数据被置为0;ReLU 要完整的映射输入空间的所有数据需要至少3个节点才能办到，比如在2维的输入空间上，当只有2个节点时构成的超平面排列将输入空间划分4个区域，其中其中一定有一个区域全

未见过类别未见过类别(unseen category)或者叫不知道类别(unknown category)。简单来说，如我们定义类别{苹果，香蕉} 且其数据集为D，那么定义一个二分类器C，将D分割为训练集和测试集，那么训练出的分类器只能区分两个类别。假设我们拥有数据Dx，其中拥有的分类为{小狗，小猫}，这个时候将Dx混入D的测试集，二分类器C如何分类Dx中的数据？这时我们将Dx包含的数...

这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。

这个错误很早就遇到过但是没看到网上叙述清楚的，这里顺便写一下。这里贴一下autograd.grad()的注释grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False)Computes and returns t...

写这篇文章的原因是基本没有关于中文大脑互补学习系统（complementary learning systems）的文章。应该说有很多关于互补学习系统的英文论文，这里也是一个总结加一点自己的见解，具体见参考文献。海马体在学习和记忆中的角色海马体系统是一个广泛存在于哺乳动物的脑区，在学习和记忆中扮演重要的特殊角色。要确切的定义海马系统的边界是困难的，这里也不去...