一、mean shift 算法理论Mean shift 算法是基于核密度估计的爬山算法，可用于聚类、图像分割、跟踪等，因为最近搞一个项目，涉及到这个算法的图像聚类实现，因此这里做下笔记。(1)均值漂移的基本形式给定d维空间的n个数据点集X，那么对于空间中的任意点x的mean shift向量基本形式可以表示为：这个向量就是漂移向量，其中Sk表示的是数据集的点到x的距离小于球半径h

半非负矩阵只是要求H为非负矩阵，对于数据矩阵X和基矩阵Z并没有要求。这个思想和聚类量化一样，Z的每一列表示聚类中心并不需要做非负约束，H表示稀疏编码矩阵。这使得我们可以从原始数据中学习到低维的特征。在机器学习中，特征这个词具体是什么东西？其实如果从矩阵分解的角度来讲的话，我们也可以矩阵H称之为：特征矩阵。本文提出一种无监督的学习方法，用于深度半非负矩阵分解，因为半监督非负矩阵分解和k均值聚类很相似

卷积神经网络每一层都有其强大的功能，然而它对于输入数据的空间不变性却还有很大的缺陷，可能max pooling层，具有平移不变性，然而因为max pooling是一个局部操作，在CNN中对于大尺度的空间变换并不具备不变性。于是paper提出

近年来深度学习捷报连连，声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法，将对于训练深度网络，简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化等，这些参数的选择对我们的训练至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的去调整学习率这些参数。就像什么激活函数层、卷积层、全连接层一样，

1、采用knn构造样本相似度矩阵(如果不采用knn，那么构造的是全连接图，不是稀疏矩阵，如果样本多的话，求解起来速度就会很慢了)2、构造归一化的拉普拉斯矩阵(归一化的拉普拉斯矩阵的对角线元素为1，每一行所有元素和为0)3、求解L矩阵的前k个最小特征值对应的特征向量(k为聚类的个数)把这些向量列成矩阵，进行k-means聚类，得到的聚类结果就是谱聚类的结果

本篇博文主要讲解2013年CVPR的一篇利用深度学习做人脸特征点定位的经典paper：《Deep Convolutional Network Cascade for Facial Point Detection》，论文的主页为：http://mmlab.ie.cuhk.edu.hk/archive/CNN_FacePoint.htm 。网页提供了训练数据、测试demo，但是我却没有找到源码，所以只

给定训练数据Y，Y的每一列表示一个样本，我们的目标是求解字典D的每一列(原子)。K-svd算法，个人感觉跟k-means差不多，是k-means的一种扩展，字典D的每一列就相当于k-means的聚类中心。其实球面k-means也是一种特殊的稀疏编码（具体可参考文献《Learning Feature Representations with K-means》），只不过k-means的编码向量X是一个

本文主要简单讲解文献：《Conditional Generative Adversarial Nets》，算法比较简单，只要懂对抗网络，基本上几分钟就可以看懂条件对抗网络的实现。一、算法概述在无条件对抗网络中，生成采样的样本是随机的，我们无法控制具体生成什么样的图片。加入条件模型，主要是直接在生成网络、判别网络中输入层中，分别加入额外的标签信息条件y，当然也可以是其它任意的条件信息。比如我们需要指

本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章：《Learning to Compare Image Patches via Convolutional Neural Networks》，本篇文章相比于经典的算法Siamese Networks 精度上有比较不错的提高。学习这篇paper的算法，需要熟悉Siamese Networks（经典老文献《Signature Verifi