之前学习机器学习和数据挖掘的时候，很多都是知道这些算法的设计机制，对数学推导和求解过程依然是一知半解，最近看了一些机器学习算法的求解和各种优化算法，也发现了这些算法设计和公式推导背后的数学精妙之处和随处可见的最优化的影子。还是决定从最优化理论开始补起，我参考了最优化的基础，先总结了凸函数、hessian矩阵、泰勒展开、拉格朗日乘子、对偶函数，随后介绍了最优化中常用的梯度下降法、牛顿法、共轭梯度法、

K-SVD是一个用于稀疏表示的字典学习算法，是一个迭代算法，是K-Means算法的泛化。对于问题(1)K-SVD的算法流程如下：I)固定字典，利用追踪算法(Pursuit Algorithm)求得(近似)最优的系数矩阵；II)每次更新一个列(用SVD求解)，固定字典的其它所有的列。计算新的列及其相对应系数，使得问题(1)最小化；III

用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则line search（一维搜索，或线搜索）是最优化（Optimization）算法中的一个基础步骤/算法。它可以分为精确的一维搜索以及不精确的一维搜索两大类。在本文中，我想用“人话”解释一下不精确的一维搜索的两大准则：Armijo-Goldstein准则 ＆ Wolfe-Powell准

自动编码器Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就

病态矩阵与条件数 1. 病态系统现在有线性系统： Ax = b， 解方程很容易得到解为： x1 = -100, x2 = -200. 如果在样本采集时存在一个微小的误差，比如，将 A 矩阵的系数 400 改变成 401：则得到一个截然不同的解： x1 = 40000, x2 = 79800.当解集 x 对 A 和 b 的系数高度敏感，那么这样的方程组就是病态的

常用激活函数比较本文结构：什么是激活函数为什么要用都有什么sigmoid ，ReLU， softmax 的比较如何选择1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层

几种常用的优化方法1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。 2. 几个数学概念1) 梯度（一阶导数）考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度

深度学习 一、深度学习出现的原因、时间及研究现状机器学习是人工智能的一个分支，而在很多时候几乎成为人工智能的代名词。简单来说，机器学习就是通过算法使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。从20世纪80年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习(shallow learning)和深度学习(deep learning)。1.1深度学习

机器学习中的矩阵方法02：正交 说明：Matrix Methods in Data Mining and Pattern Recognition 读书笔记 1. 正交的一些概念和性质在前一章的最小二乘的问题中，我们知道不恰当的基向量会出现条件数过大，系统防干扰能力差的现象，这实际上和基向量的正交性有关。两个向量的内积如果是零， 那么就说这两个向量是正交的，在三维空间

没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规划，二次规划，二次约束二次规划，半正定规划等，从而对凸优化问题有个初步的认识。以下是几个重要相关概