前面博客有讲到，样本如果不是线性的可以通过多项式扩展，映射到多维空间来拟合。如此之外，还可以做一个局部加权线性回归（Locally Weighted Linear Regression，LWLR）。...

这篇博客介绍另一种类型的聚类算法——密度聚类。密度聚类方法的指导思想：只要样本点的密度大于某个阈值，则将该样本添加到最近的簇中。这类算法可以克服基于距离的算法只能发现凸聚类的缺点，可以发现任意形状的聚类，而且对噪声数据不敏感。但是计算复杂度高，计算量大。常用算法有：DBSCAN 和 MDCA。

决策树常见的算法有ID3 C4.5 CART，这里只简述一下，不做详细介绍。因为了解了决策树的概念，再看这几个算法，特别简单。重点介绍三者的关系。

接下来几篇博客介绍决策树，并且尽量用最直白的话来讲解。本篇博客介绍决策树中比较重要的一个概念——信息熵。

结果的好坏，都要有相应的指标来衡量。尤其聚类的特殊性，也有一些特殊的算法。

前两篇博客介绍的是线性回归，线性回归的一个问题是有可能出现欠拟合现象，解决欠拟合其中的一个方法是本文的多项式扩展，还有一个是后面的博客会介绍的局部加权线性回归（Locally Weighted Linear Regression，LWLR）。

上篇博客介绍的层次聚类，尤其是AGNES这一传统的层次聚类算法。这篇博客介绍层次聚类的优化算法：BIRCH算法(平衡迭代削减聚类法)，以及对BIRCH优化的CURE算法(使用代表点的聚类法)。

结果的好坏，都要有相应的指标来衡量。尤其聚类的特殊性，也有一些特殊的算法。

像普通线性回归、Ridge回归，通过求导，也就是最小二乘法就可以求解，但Lasso不可以，Lasso通常采用的是坐标轴下降法。除了最小二乘法，还有另外一种方法，也是最常用的：梯度下降法。本文最后，也简要的介绍了一下牛顿法和拟牛顿法。

前面博客说的是logistic逻辑回归，这篇博客则是Softmax回归，可以说Softmax回归是logistic回归的一般化（因为logistic是二分类的），适用于K分类的问题。