机器学习中造成过拟合的原因可能有以下几点：（1）数据有噪声（2）训练数据不足，有限的训练数据（3）训练模型过度导致模型非常复杂防止过拟合的方法：1.提前停止：对模型进行训练的过程即是对模型的参数进行学习更新的过程，这个参数学习的过程往往会用到一些迭代方法，如梯度下降（Gradient descent）学习算法。Early stopping便是一种迭代次数截断的方法来防止过拟...

上一篇博文中讨论了两种常用的性能度量查准率（precision）查全率（recall，也叫召回率）对应的P-R图与真正例率（TPR），假正例率（FPR）对应的ROC图。详情请看https://blog.csdn.net/qq_18888869/article/details/84848689。今天介绍另一种常用的人的度量方法FAR,FRR，此方法在识别身份，人脸识别等方面运用较多。1.概念...

Polyak平均会平均优化算法在参数空间访问中的几个点。如果t次迭代梯度下降访问了点,那么Polyak平均算法的输出是。当应用Polyak平均于非凸问题时，通常会使用指数衰减计算平均值：                                     1. 用滑动平均估计局部均值　　滑动平均(exponential moving average)，或者叫做指数加权平均(ex...

一、病态矩阵求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。例如：现在有线性方程组： Ax = b， 解方程                                                ...

最近又用到了matplotlib 中画图的函数。总结几个常用的函数的作用于区别。from matplotlib import pyplot as plt1.figure()函数定义matplotlib.pyplot.figure(num=None, figsize=None, dpi=None, facecolor=None, edgecolor=None, frameon=True...

Polyak平均会平均优化算法在参数空间访问中的几个点。如果t次迭代梯度下降访问了点,那么Polyak平均算法的输出是。当应用Polyak平均于非凸问题时，通常会使用指数衰减计算平均值：                                     1. 用滑动平均估计局部均值　　滑动平均(exponential moving average)，或者叫做指数加权平均(ex...

一、病态矩阵求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。例如：现在有线性方程组： Ax = b， 解方程                                                ...

上一篇博文中讨论了两种常用的性能度量查准率（precision）查全率（recall，也叫召回率）对应的P-R图与真正例率（TPR），假正例率（FPR）对应的ROC图。详情请看https://blog.csdn.net/qq_18888869/article/details/84848689。今天介绍另一种常用的人的度量方法FAR,FRR，此方法在识别身份，人脸识别等方面运用较多。1.概念...

学习深度学习时遇见multinoulli分布，在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系，以便更好的理解其在机器学习和深度学习中的使用。首先介绍一下其他相关知识。Bernoulli分布 （两点分布）Bernoulli分布是单个二值随机变量的分布。它由单个参数控制，给出了随机变量等于1的概率。                        ...

上一篇博文中讨论了两种常用的性能度量查准率（precision）查全率（recall，也叫召回率）对应的P-R图与真正例率（TPR），假正例率（FPR）对应的ROC图。详情请看https://blog.csdn.net/qq_18888869/article/details/84848689。今天介绍另一种常用的人的度量方法FAR,FRR，此方法在识别身份，人脸识别等方面运用较多。1.概念...