深度学习之神经网络优化方法

1.度量类内差异，可以使用方差σ来度量，正类方差和负类方差之和通常也称为类内散度σ1+σ2。度量类间差异可以使用均值距离Δu，通常称为类间散度。这可以用作特征选择，即在分类过程中，我们希望使用类内差异小、类间差异大的特征。因此，可以对所有特征的类内散度和类间散度进行排序.如1.1根据alpha*(σ1+σ2)+-|Δu|从小到大选择，即选择较小的值1.2根据σ...

线性模型的训练过程1.初始化模型包括初始化 模型参数W 和 b，使得对任意X可以通过 y=WX+b得到y的结果。2.准备好数据集，即用于训练的X和Y3.开始训练3.1向前传播 计算y_pre=WX+b3.2计算误差(或称损失) 计算Loss=loss(y_pre,y) 其中loss可以是mae、mse(常称为最小二乘法，或均方误差、平方2损...

摘要异常检测是一个重要的问题，在不同的研究领域和应用领域都得到了充分的研究。本调查的目的有两个方面，首先我们对基于深度学习的异常检测的研究方法进行了结构化和全面的概述。此外，我们回顾了这些方法在不同应用领域中对异常现象的采用情况，并评估其有效性。我们根据所采用的基本假设和方法，将最先进的深度异常检测研究技术归为不同的类别。在每个类别中，我们概述了基本的异常检测技术及其变体，并提出了关键假设，以区分

分类、目标检测、语义分割、实例分割的区别计算机视觉的任务很多，有图像分类、目标检测、语义分割、实例分割和全景分割等，那它们的区别是什么呢？1、Image Classification（图像分类）图像分类（下图左）就是对图像判断出所属的分类，比如在学习分类中数据集有人（person）、羊（sheep）、狗（dog）和猫（cat）四种，图像分类要求给定一个图片输出图片里含有哪些分类，比如下图的例子是含

《Large-Scale Long-Tailed Recognition in an OpenWorld》Ziwei Liu1;2 Zhongqi Miao2 Xiaohang Zhan1 Jiayun Wang2 Boqing Gong2y Stella X. Yu20摘要：真实世界的数据通常有一个长尾和开放式的分布。一个实际的认知系统必须对多样本类别和少样本类别进行分类，从少数已知的事例中归纳