UFLDL（Unsupervised Feature Learning and Deep Learning）Tutorial 是由 Stanford 大学的 Andrew Ng 教授编写的一套教程，内容深入浅出，有很强的实用性，学习起来，让人有种酣畅淋漓的感觉。邓侃博士于今年 2 月 20 日起，在新浪微博上召集志愿者对该教程进行翻译，并于 4 月 8 日全部完成，非常感谢所有参与者的辛勤劳动。本

最近由于工作需要，对聚类算法做了一些相关的调研。现将搜集到的资料和自己对算法的一些理解整理如下，供大家参考。另外在算法代码方面，我也做了一些实现（包括串行和并行），欢迎感兴趣的朋友探讨和交流。第一章 引言第二章 预备知识第三章 直接聚类法第四章 K-means 第五章 DBSCAN第六章 OPTICS

在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning w

最近由于工作需要，对聚类算法做了一些相关的调研。现将搜集到的资料和自己对算法的一些理解整理如下，供大家参考。另外在算法代码方面，我也做了一些实现（包括串行和并行），欢迎感兴趣的朋友探讨和交流。第一章 引言第二章 预备知识第三章 直接聚类法第四章 K-means 第五章 DBSCAN第六章 OPTICS

去年 6 月份写的博文《Yusuke Sugomori 的 C 语言 Deep Learning 程序解读》是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记，当时对其中涉及的算法原理基本不懂。近日再次学习 RBM，觉得有必要将其整理成笔记，算是对那个代码的一个补充。

今年 6 月份，Alex Rodriguez 和 Alessandro Laio 在 Science 上发表了一篇名为《Clustering by fast search and find of density peaks》的文章，为聚类算法的设计提供了一种新的思路。虽然文章出来后遭到了众多读者的质疑，但整体而言，新聚类算法的基本思想很新颖，且简单明快，值得学习。这个新聚类算法的核心思想在于对聚类

word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上增加了这个工具包的神秘感。一些按捺不住的人于是选择了通过解剖源代码的方式来一窥究竟，出于好奇，我也成为了他们中的一员。读

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。