前面博客有讲到，样本如果不是线性的可以通过多项式扩展，映射到多维空间来拟合。如此之外，还可以做一个局部加权线性回归（Locally Weighted Linear Regression，LWLR）。...

这篇博客介绍另一种类型的聚类算法——密度聚类。密度聚类方法的指导思想：只要样本点的密度大于某个阈值，则将该样本添加到最近的簇中。这类算法可以克服基于距离的算法只能发现凸聚类的缺点，可以发现任意形状的聚类，而且对噪声数据不敏感。但是计算复杂度高，计算量大。常用算法有：DBSCAN 和 MDCA。

决策树常见的算法有ID3 C4.5 CART，这里只简述一下，不做详细介绍。因为了解了决策树的概念，再看这几个算法，特别简单。重点介绍三者的关系。

接下来几篇博客介绍决策树，并且尽量用最直白的话来讲解。本篇博客介绍决策树中比较重要的一个概念——信息熵。

结果的好坏，都要有相应的指标来衡量。尤其聚类的特殊性，也有一些特殊的算法。

本文实现两个案例，分别是：鸢尾花数据分类 和 鸢尾花数据特征属性比较。

K-Means算法是最基本的一种聚类算法，也会有一些问题，前面的博客《机器学习（聚类二）——K-Means》中有介绍，这里就不详细说了。本篇文章介绍一下典型的优化算法。

K-means算法，也称为K-平均或者K-均值，是一种使用广泛的最基础的聚类算法，一般作为掌握聚类算法的第一个算法。

普通的线性回归往往拟合效果不好，比如图形是曲线的形式，可以做一个多项式扩展，变到高维空间。也可以说多项式扩展能解决线性回归模型欠拟合的情况。但多项式的阶数如果太高，就会导致过拟合的情况，也就是训练集上特别好，测试集不太理想。对于过拟合可以使用L1或L2来解决，也就是在J(θ) 的基础上把模型的复杂度加上，如岭回归。

上篇博客介绍的层次聚类，尤其是AGNES这一传统的层次聚类算法。这篇博客介绍层次聚类的优化算法：BIRCH算法(平衡迭代削减聚类法)，以及对BIRCH优化的CURE算法(使用代表点的聚类法)。