这个错误很早就遇到过但是没看到网上叙述清楚的，这里顺便写一下。这里贴一下autograd.grad()的注释grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False)Computes and returns t...

最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数fxx2f(x)=x^2fxx2时(这个激活函数想法来源于fxReLU2x3fxReLU2x3)，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。

这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。

最近研究超平面排列(Hyperplane Arrangement)问题的时候，发现ReLU有其缺陷，即举例来说，ReLU 无法使用单一的超平面将分离的所有数据，完整的输出，即只会输出半个空间映射的数据，而另一半空间的数据被置为0;ReLU 要完整的映射输入空间的所有数据需要至少3个节点才能办到，比如在2维的输入空间上，当只有2个节点时构成的超平面排列将输入空间划分4个区域，其中其中一定有一个区域全

未见过类别未见过类别(unseen category)或者叫不知道类别(unknown category)。简单来说，如我们定义类别{苹果，香蕉} 且其数据集为D，那么定义一个二分类器C，将D分割为训练集和测试集，那么训练出的分类器只能区分两个类别。假设我们拥有数据Dx，其中拥有的分类为{小狗，小猫}，这个时候将Dx混入D的测试集，二分类器C如何分类Dx中的数据？这时我们将Dx包含的数...

这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。

这个错误很早就遇到过但是没看到网上叙述清楚的，这里顺便写一下。这里贴一下autograd.grad()的注释grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False)Computes and returns t...

写这篇文章的原因是基本没有关于中文大脑互补学习系统（complementary learning systems）的文章。应该说有很多关于互补学习系统的英文论文，这里也是一个总结加一点自己的见解，具体见参考文献。海马体在学习和记忆中的角色海马体系统是一个广泛存在于哺乳动物的脑区，在学习和记忆中扮演重要的特殊角色。要确切的定义海马系统的边界是困难的，这里也不去...

开集分类问题(open-set problem)不仅仅包含0～9的字符类别，还包含其他如A～Z等等的未知类别，但是这些未知的类别并没有标签，分类器无法知道这些未知类别里面图像的具体类别，如：是否是A，这些许许多多的不同类别图像共同构成了一个类别：未知类别，在检测里面我们叫做背景类别(background)，而开集分类问题的目的即是：**正确划分这10个类别且正确拒绝非数字类别**

在人工智能领域探索了很久之后，也受到最近的几篇论文的启发，决定写这篇文章，想了很久不知道从哪里开始，因为要阐述清楚生命科学的一些内容也是一件很难的事情，包含很多科目，如：细胞生物学，病毒学，基因工程，本人已经忘了太多，怕误人子弟。不管是生命科学还是人工智能，我想本质是一样的都是在研究生命与智能，也在研究我们自己，我们是谁，从何而来，去往哪里。