上一节我们讲了线性回归的一元线性回归和多元线性回归，其中多元线性回归在求解的过程中又分为满秩和非满秩的情况，进而引出了的最大释然估计进行处理，后面详细的对回归误差进行了分析，最后误差来源于平方偏置、方差和不可消除的误差三个方面，详细对比了前两个的关系，然后我们又引出了正则化回归，其实就是岭回归，原因也简单的提了一下，本节将详细的对此进行分析，吃透原理，在遇到问题时才知道如何处理它，废话不多说，下面

另在一篇文章中，我们介绍了随机梯度下降的细节以及如何解决陷入局部最小值或鞍点等问题。在这篇文章中，我们看看另一个困扰神经网络训练的问题，即病态曲率。虽然局部最小值和鞍点可以阻止我们的训练，但是病态曲率可以使训练减慢到机器学习从业者可能认为搜索已经收敛到次优极小值的程度。让我们深入了解病理曲率是什么。病态曲率考虑以下损失轮廓。                           ...

上一节我们详细推倒了BP算法的来龙去脉，请把原理一定要搞懂，不懂的请好好理解BP算法详解，我们下面就直接把上一节推导出的权值调整公式拿过来，然后给出程序流程图，该流程图是严格按照上一节的权值更新过程写出的，因此称为标准的BP算法，标准的BP算法中，每输入一个样本，都要回传误差并调整权值，这种对每个样本轮回训练权值的调整方法称为单样本训练，下面先给出权值调整公式，然后给出流程图：程序流程图 ...

      前面几节分别从不同的角度对梯度的优化进行梳理，本节将进行正则化的梳理，所谓正则化，简单来说就是惩罚函数，在机器学习中的SVM中引入拉格朗日乘子法即引入惩罚项解决了约束问题，在稀疏自编码器中我们引入了惩罚因子去自动调整隐层的神经元的个数，以此达到压缩率和失真度的平衡，其实这些都是使用正则思想进行实现的，因此掌握正则化很重要，本节就系统的讲解正则化和数据扩充以及Dropout其实有些知识在

卷积神经网络（Convolutional Neural Network，CNN）是一种前馈型的神经网络，其在大型图像处理方面有出色的表现，目前已经被大范围使用到图像分类、定位等领域中。相比于其他神经网络结构，卷积神经网络需要的参数相对较少，使的其能够广泛应用。本节打算先介绍背景和简单的基本概念术语，然后详细介绍LeNet-5网络，其工作流程大家需要先搞清楚，学习原理其实是基于BP学习原理的，只..

        上一节我们详细的探讨了玻尔兹曼机，玻尔兹曼机的发明是为了解决Hopfield神经网络的伪吸引子的问题，因此把退火算法、玻尔兹曼分布和Hopfield神经网络结合在一起形成了玻尔兹曼机（随机神经网络）。通过前面几节我们知道玻尔兹曼机可以很好的解决Hopfield神经网络的伪吸引子的问题，但是带来的另外一个大问题就是计算量太大了，训练周期长，因此Hinton和Sejnowski于198

今天开始深度学习的最后一个重量级的神经网络即RNN，这个网络在自然语言处理中用处很大，因此需要掌握它，同时本人打算在深度学习总结完成以后就开始自然语言处理的总结，至于强化学习呢，目前不打算总结了，因为我需要实战已经总结完成的算法，尤其是深度学习和自然语言的处理的实战，所以大方向就这样计划。下面讲讲本节的内容，本节的的内容和以前一样，从最初开始，慢慢探索到LSTM，废话不多说下面开始：RNN（R..

前面讲解了什么是核函数，以及有效核函数的要求，到这里基本上就结束了，很多博客也是如此，但是呢这些只是理解支持向量机的原理，如何使用它讲解的却很少，尤其是如何选择核函数更没有人讲，不讲也是有原因的，因为核函数的选择没有统一的定论，这需要使用人根据不同场合或者不同问题选择核函数，选择的标准也没有好的指导方法，一般都是尝试使用，所以选择核函数就需要看使用者的经验了，研究者们也在一直研究这种方法，这方面的

这节和上一节很像，不同的是，上一篇的是通过支持向量和待分类数据內积进行分类的，只是这里不同的是，在计算內积时使用核函数进行代替，这里参考的是机器学习实战中的核函数，如果前面理解的比较深入，读代码还是很简单的，这里的代码建议不要刚开始就去读核函数定义，建议先从测试核函数的代码读，然后搞清楚核函数的参数都代表什么，同时想想作者为什么这样使用，刚开始理解这些可能有点难，多读几遍，在读代码时建议时刻想着前

       前两节我们详细讨论了退火算法和玻尔兹曼分布，本节将使用这两个算法和Hopfield神经网络结合构成新的神经网络即随机神经网络又叫玻尔兹曼机，这个神经网络是模拟能量的特性，从能量角度出发，构造和能量过程类似的神经网络，之所以这样构建和Hopfield神经网络有很大的关系，稍后我们会看到和Hopfield神经网络的异同点。另外这个神经网络不具有实用性，因为计算量太大了，但是我们为什么还要