要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。1.由于现实中的具体事例的发生较为复杂，并不能应用线性的模型进行分析，如果要使用的话，就会再每次调整参数得时候同时要调整阈值的范围，那模型的普适性就会变差。即从某一点开始，选择对应的步长和方向进行，不断的下降，直到到达最终的最小值（可能是局部最小也可能是全局最小）为止。如上图

是误差值，与简单线性回归分析中的要求特点相一致。其余的系数和截距为参数。一、多元线性回归分析（Multiple regression）1.与简单线性回归相比较，具有多个自变量x。4.估计多元回归方程(点估计)二、自变量里没有类别数据的实例。三、自变量中含有类别型的数据。从而得到一个唯一的超平面。

5.R^2也具有一定的局限性，R^2会随着自变量的增大增大，R^2和样本量具有一定的关系。因此，为了改进R^2的局限性，我们要对R^2进行修正。2.描述：如R^2=0.8，则表示回归关系可以解释为因变量80%的变异。即，如果可以控制自变量保持不变，则因变量的变异程度会减少80%1.定义：决定系数，反应因变量的全部变异能通过回归关系被自变量解释的比例。2.对应的取值范围为[-1,1],即存在正相关，

输入层(input layer)是由训练集的实例特征向量传入，经过连接结点的权重(weight)传入下一层，一层的输出是下一层的输入，隐藏层的个数可以是任意的，输入层有一层，输出层有一层，每个单元(unit)也可以被称作神经结点,根据生物学来源定义，一层中加权的求和，然后根据非线性方程转化输出。多层向前神经网络由以下部分组成：输入层(input layer),隐藏层(hidden layers),