多元函数的各参数求偏导数，然后把所求得的各个参数的偏导数以向量的形式写出来，就是梯度。具体来说，两个⾃变量的函数f（x，x），对应着机器学习数据集中的两个特征，如果分别对x，x求偏导数，那么求得的梯度向量就是（∂f/∂x，∂f/∂x）T，在数学上可以表示成Δf（x，x）。梯度向量的⽅向也就是y值增加最快的⽅向。也就是说，沿着梯度向量的⽅向Δf（x），能找到函数的最⼤值。反过来说，沿着梯度向量相反的

利⽤计算机的运算能⼒从⼤量的数据中发现⼀个“函数”或“模型，把⽆序的数据转换成有⽤的信息，建模的过程就是机器的“学习”。即大量数据下的统计，找规律特征，标签，函数，训练集，测试集⾃变量（x, x, x, …, x），在机器学习领域叫作特征（feature），因变量y，在机器学习领域叫作标签（label），有时也叫标记。机器学习，就是在已知数据集的基础上，通过反复的计算，选择最贴切的函数（funct

如果只包括⼀个⾃变量（特征x）和⼀个因变量（标签y），且两者的关系可⽤⼀条直线近似表示，这种回归分析就称为⼀元线性回归分析。损失函数⽅程式中的x，y都可以视为常量，则L就只随着w和b⽽变。损失函数（loss function）L（w，b）就是⽤来计算平均损失的。损失函数L是参数w和b的函数，计算预测值h（x）和实际y的差值，不是针对x的函数。假设函数：到最佳的函数f（x）之前，现有的函数模型不⼀定

机器学习04逻辑回归分类机器学习的分类过程，也就是确定某⼀事物⾪属于某⼀个类别的可能性⼤⼩的过程。Sigmoid函数的公式为：⼴泛应⽤于逻辑回归分类和神经⽹络激活过程。抑制分类的两边，对中间区域的细微变化敏感，这对分类结果拟合效果好。。转为最终结果还需要一个分类器逻辑回归所做的事情，

但这种波动反⽽有⼀个好处：在有很多局部最低点的盆地区域中，随机地波动可能会使得优化的⽅向从当前的局部最低点跳到另⼀个更好的局部最低点，最终收敛于⼀个较好的点，甚⾄是全局最低点。以下是给本人给数学不好的自己的例子，求各层梯度就是在说我这层参数对loss有多少影响，就恰好是偏导的定义（单参数而言，一层多参数则是参数偏导组成向量），我知道了我自己参数对Loss影响，我就学习。对⾮稀疏特征，则使⽤较⼩的速

卷积神经⽹络，简称为卷积⽹络，与普通神经⽹络的区别是它的卷积层内的神经元只覆盖输⼊特征局部范围的单元，具有稀疏连接（sparse connectivity）和权重共享（weight shared）的特点，⽽且其中的过滤器可以做到对图像关键特征的抽取。因为这⼀特点，卷积神经⽹络在图像识别⽅⾯能够给出更好的结果。

⽐如：男，80岁，⾎压150mmHg，这3个已发⽣的事件，就是样本已知的特征。内容参数是算法内部的权重和偏置，⽽超参数是算法的参数，例如逻辑回归中的C值、神经⽹络的层数和优化器、KNN中的K值，都是超参数。，以避免过拟合，同时提⾼准确率。其中，每⼀棵决策树都是在原始数据集中抽取不同⼦集进⾏训练的，尽管这种做法会⼩幅度地增加每棵树的预测偏差，但是最终对各棵树的预测结果进⾏综合平均之后的模型性能通常会

卷积神经⽹络，简称为卷积⽹络，与普通神经⽹络的区别是它的卷积层内的神经元只覆盖输⼊特征局部范围的单元，具有稀疏连接（sparse connectivity）和权重共享（weight shared）的特点，⽽且其中的过滤器可以做到对图像关键特征的抽取。因为这⼀特点，卷积神经⽹络在图像识别⽅⾯能够给出更好的结果。

⽐如：男，80岁，⾎压150mmHg，这3个已发⽣的事件，就是样本已知的特征。内容参数是算法内部的权重和偏置，⽽超参数是算法的参数，例如逻辑回归中的C值、神经⽹络的层数和优化器、KNN中的K值，都是超参数。，以避免过拟合，同时提⾼准确率。其中，每⼀棵决策树都是在原始数据集中抽取不同⼦集进⾏训练的，尽管这种做法会⼩幅度地增加每棵树的预测偏差，但是最终对各棵树的预测结果进⾏综合平均之后的模型性能通常会

⽐如：男，80岁，⾎压150mmHg，这3个已发⽣的事件，就是样本已知的特征。内容参数是算法内部的权重和偏置，⽽超参数是算法的参数，例如逻辑回归中的C值、神经⽹络的层数和优化器、KNN中的K值，都是超参数。，以避免过拟合，同时提⾼准确率。其中，每⼀棵决策树都是在原始数据集中抽取不同⼦集进⾏训练的，尽管这种做法会⼩幅度地增加每棵树的预测偏差，但是最终对各棵树的预测结果进⾏综合平均之后的模型性能通常会