计算机视觉、机器学习、模式识别，相关性很大。

怎样处理大数据量、高维数、非结构化的数据呢？
• 直接在高维数据上处理； 维数灾难，所需要的样本数量随着维数的增加指数增加，模型的复杂程度指数增加。
• 降维后再对低维数据进行处理； -自空间分析，通过线性或线性变换压缩到一个低维的子空间中，在低维的子空间中使样本的分布更紧凑，更加有利于分类，计算复杂度减少。
• 升到更高维度上再进行处理；

经典空间分析方法：
1.主成分分析，PCA----找到投影方向
从m维降到n维，同时最小化平方误差。 通过线性变换选出较少个重要变量，尽可能保持原有信息。

求解步骤

•PCA对于椭球状分布的样本集有很好的效果, 学习 所得的主方向就是椭球的主轴.
•PCA 是一种非监督的算法, 能找到很好代表所有样 本的方向, 但这个方向对于分类未必是最有利的

Robust PCA–在有噪声下比较好
零范数等价于一范数

ICA
独立成分分析，从多个源信号的线性混合信号中分出源信号。假设是独立的。

LDA 线性判别分析==Fisher 线性判别
类内散度越小，类间散度越大越好。

类间散度一定奇异吗？
首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵，若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。然后，再看此矩阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。

样本数量小于样本的维度的话，怎么做都是奇异的。

两个矩阵和的秩小于两个矩阵秩的和。

样本个数小于特征维数时，Sw是奇异的，无法求解。
解答方案是1.用PCA进行降维，使得Sw非奇异。2.直接在Sw的零空间求解最优投影 3. 扰动法：

现实中数据的有用特性往往不是特征的线性组合。

流形学习

从已知数据x中推出隐数据y和隐空间

LLE: 不满足全局线性结构的时候(满足则PCA)
局部空间可以与低维子空间近似，也就是任意一个位置可以由其领域来表达。

最小化目标函数就可以得到由其领域的表达。

学习目标： 在低维空间中保持每个邻域中的权值不变，即假设嵌 入映射在局部是线性的条件下, 最小化重构误差。

像下面这样的图用PCA无论哪个方向党的投影都无法正确投影。

LLE的优点
LLE算法可以学习任意维数的低维流形.
• LLE算法中的待定参数很少, K和d(人为定的).
• LLE算法中每个点的近邻权值在平移, 旋转,伸缩变
换下是保持不变的.
• LLE算法有解析的整体最优解,不需迭代.
• LLE算法归结为稀疏矩阵特征值计算, 计算复杂度
相对较小, 容易执行.

缺点：
LLE算法要求所学习的流形只能是不闭合的且在局部是线性的.
• LLE算法要求样本在流形上是稠密采样的.
• LLE算法中的参数 K, d 有过多的选择.
• LLE算法对样本中的噪音很敏感

多维尺度变换
MDS 是一种非监督的维数约简方法.
• MDS的基本思想: 约简后低维空间中任意两点间的 距离应该与它们在原始空间中的距离相同.

保持测地距离不变，不是欧式距离。

Laplacian Eigenmap

主要思想： 在高维空间中离得很近的点投影到低维空间中的像也 应该离得很近

Laplacian Eigenmap算法的特点
• 算法是局部的非线性方法。
• 算法与谱图理论有很紧密的联系。
• 算法中有两个参数k、d.
• 算法通过求解稀疏矩阵的特征值问题解析地求出整体最 优解。
• 算法使原空间中离得很近的点在低维空间也离得很近, 可以用于聚类。
•没有给出显式的投影映射，即，对于新样本（out-ofsample）无法直接得到其在低维子流形上的投影。

LLE, Isomap, Laplacian Eigenmap 有效的原因
1 它们都是非参数的方法，不需要对流形的很多的参
数假设。
2 它们是非线性的方法，都基于流形的内在几何结构，
更能体现现实中数据的本质。
3 它们的求解简单，都转化为求解特征值问题，而不
需要用迭代算法。

RNN

在BP下：梯度消失、爆炸
梯度爆炸—解决：gradient clipping：剪枝，就是给一个限制范围
梯度消失：LSTM

门：输入加上一个函数
遗忘门：

遗忘之后，加上一点：缓解梯度消失

输出门：