本文的论文来自：Notes on Convolutional Neural Networks, JakeBouvrie。         这个主要是CNN的推导和实现的一些笔记，再看懂这个笔记之前，最好具有CNN的一些基础。这里也先列出一个资料供参考：[1] DeepLearning（深度学习）学习笔记整理系列之（七）[2] LeNet-5,con

如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合（因为深度网络的神经元和参数太多了）。       2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是：1）首先

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。        深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。       Deep learning

深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第一篇，从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理，因为网络上有太多的教程可以参考。这里，主要描述其数学上的计算过程，并且采用的符号可能与其它参考书上的符号有很大差异。特别是，斯坦福官方网站上对深度网络中所引用

function OutImg = Normalize(InImg)ymax=255;ymin=0;xmax = max(max(InImg)); %求得InImg中的最大值xmin = min(min(InImg)); %求得InImg中的最小值OutImg = round((ymax-ymin)*(InImg-xmin)/(xmax-xmin) + ymin); %GUIend