在具体的机器学习算法之前，先来从宏观上介绍一下机器学习的开发流程，这样能对机器学习有个整体认识。总的来说，分为数据收集、数据处理、模型构建、模型测试评估、投入使用（模型部署与整合）、迭代优化等。对于数据处理部分也叫特征工程，有的时候会分成数据清洗和特征工程。

K-Means算法是最基本的一种聚类算法，也会有一些问题，前面的博客《机器学习（聚类二）——K-Means》中有介绍，这里就不详细说了。本篇文章介绍一下典型的优化算法。

决策树常见的算法有ID3 C4.5 CART，这里只简述一下，不做详细介绍。因为了解了决策树的概念，再看这几个算法，特别简单。重点介绍三者的关系。

前面博客有讲到，样本如果不是线性的可以通过多项式扩展，映射到多维空间来拟合。如此之外，还可以做一个局部加权线性回归（Locally Weighted Linear Regression，LWLR）。...

K-means算法，也称为K-平均或者K-均值，是一种使用广泛的最基础的聚类算法，一般作为掌握聚类算法的第一个算法。

从这篇博客开始将介绍机器学习中的比较重要的内容——回归，期间会穿插着涉及到的知识点，如正则化。本篇是回归大家族中最简单的一种——线性回归，采用最小二乘法来求得最优解。

前面博客有讲到，样本如果不是线性的可以通过多项式扩展，映射到多维空间来拟合。如此之外，还可以做一个局部加权线性回归（Locally Weighted Linear Regression，LWLR）。...

这篇博客介绍另一种类型的聚类算法——密度聚类。密度聚类方法的指导思想：只要样本点的密度大于某个阈值，则将该样本添加到最近的簇中。这类算法可以克服基于距离的算法只能发现凸聚类的缺点，可以发现任意形状的聚类，而且对噪声数据不敏感。但是计算复杂度高，计算量大。常用算法有：DBSCAN 和 MDCA。

决策树常见的算法有ID3 C4.5 CART，这里只简述一下，不做详细介绍。因为了解了决策树的概念，再看这几个算法，特别简单。重点介绍三者的关系。

接下来几篇博客介绍决策树，并且尽量用最直白的话来讲解。本篇博客介绍决策树中比较重要的一个概念——信息熵。