介绍首先介绍一下斐波那契数列，斐波那契数列（Fibonacci sequence），又称黄金分割数列，因数学家莱昂纳多·斐波那契（Leonardo Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：0、1、1、2、3、5、8、13、21、34、……在数学上，斐波那契数列以如下被以递推的方法定义：F(0)=0，F(1)=1, F(n)=F(n - 1)+F(n -

前言在之前的博客中讲到的逻辑回归，其实本质是在平面上找一条直线，用这条直线来分割所有样本对应的分类。所以之前说逻辑回归在绝大多数情况下，只能解决二分类问题，因为这个直线只能将我们的平面分成两个部分。但即使如此，我们会发现直线这种分类方式太过于简单了，有很多其他情况不能单纯通过直线来分类，比如下图，在我们的特征平面中分布着一些样本点，红色属于一类，蓝色属于另一类，对于这些样本点来说，我们不能通过直线

深度可分离卷积

前言之前的线性回归法有一个很大的局限性，要求假设数据背后是存在线性关系的，但是对于实际应用场景当中，具有线性关系比较强的数据集太少了，更多的是具有非线性关系的数据集。这里引入使用多项式回归，改进线性回归法，可以对非线性的数据进行处理，进而进行预测（进而其实可以引出模型泛化这个概念）1、多项式回归概念我们学习线性回归时，对于这些数据，我们想要找一条直线，让这条直线尽可能的拟合这些数据，如果这些数据只

在看过一些基本资料之后进行的小总结大佬绕道1、残差的数学概念是指估计值与实际值直接的差，如果存在一个映射f(x)=b，x=x0时，则b-f(x0)则为残差，x-x0为误差2、残差网络对于传统的CNN网络，简单的增加网络的深度，容易导致梯度消失和爆炸。针对梯度消失和爆炸的解决方法一般是正则初始化(normalized initialization)和中间的正则化层(intermediate norm

前言理论部分参考支持向量机SVM（理论部分）写代码之前，我们要把数据做标准化处理，因为SVM寻找的是使margin最大的中间的那根线，而我们衡量margin的方式是数据点之间的距离，这里涉及到距离，如果我们的数据点在不同的维度上，量纲不同，那我们对数据的估计是有问题的。举个例子，下图有四个样本点，两个属于红色类别，两个属于蓝色类别。如果数据在这两个维度上数据尺度相差过大，例如横轴上范围在（0,1）

1、基本概念在之前的博客当中描述了怎样模拟出了梯度下降的过程如果是多维情况，theta其实是一个向量，那么对其求导的损失函数也是向量，梯度就是损失函数对每个方向的theta求偏导。和之前的一维线性回归相比，我们对只是对w这个数字进行求导，而现在针对多系数theta，对theta整个向量进行求导。有两个参数的梯度下降法进行可视化，一圈一圈代表等高线，圈上的值就是梯度。越外层J的取值越大，越里层J的取

关于《神经⽹络与深度学习》代码部分进行了部分修改，针对python3.0进行相关更改记录如下'''代码修改说明''''''1、xrangexrange是python2.0的用法python3.0+改成了range''''''2、printprint"Epoch {0}: {1} / {2}".format(j, self.evaluate(test_data), n_test)是python2.0

深度可分离卷积

前言理论部分参考支持向量机SVM（理论部分）写代码之前，我们要把数据做标准化处理，因为SVM寻找的是使margin最大的中间的那根线，而我们衡量margin的方式是数据点之间的距离，这里涉及到距离，如果我们的数据点在不同的维度上，量纲不同，那我们对数据的估计是有问题的。举个例子，下图有四个样本点，两个属于红色类别，两个属于蓝色类别。如果数据在这两个维度上数据尺度相差过大，例如横轴上范围在（0,1）