1，模型树是一个混合算法。它首先是一个决策树算法，类似CART算法，而又不同于ID3算法或CART算法。传统的决策树算法，它们生成树的叶子节点上代表对一条数据的预测类别或预测目标值，而模型树上的叶子节点代表一个线性回归模型(最小二乘法)。对于一条测试数据，用这个线性回归模型计算出其预测类别或预测目标值。2，也就是说，模型树在分裂的时候，选定切分特征和切分特征值的时候，其参考标准不再是C

1，常微分学常没分，数理方程没天理；实变函数学十遍，泛函分析心犯寒；微分拓扑躲不脱，随机过程随机过；微机原理闹危机，汇编语言不会编；量子力学量力学，机械制图机械制。2，《高数》拉格朗日， 傅立叶旁， 我凝视你凹函数般的脸庞。微分了忧伤， 积分了希望， 我要和你追逐黎曼最初的梦想。感情已发散，

三年前，写过一篇逻辑回归算法的介绍，现在回头来看，比较乱，首尾不能兼顾。关于逻辑回归的分类算法，很多书籍都有介绍，比较来看，还是李航老师的书《统计学习方法》里介绍的更清楚，若大家有时间，请不要偷懒，还是建议从头开始看李航老师的书，这本书简洁明了，适合入门。书看一遍，就会有一遍收货。基于如上，本篇博客，再次对逻辑回归，梳理如下：logistic分布的概念，如下图logistic分...

目录一：几个重要不等式的形式1，Jensen不等式2，平均值不等式3，一个重要的不等式4，Holder不等式5，Schwarz不等式 和 Minkovski不等式​二：不等式的证明1，Jensen不等式用数学归纳法证明2，平均值不等式的证明：取对数后，用Jensen不等式证明3，第三个不等式的证明：利用对数函数lnx的凸性和单调递增的性质，不等式两边取对...

支撑向量机(SVM) 算法可以看做是对logistic回归算法的一般性扩展，它们都假设训练集中的数据线性可分。支撑向量机用途广泛，更具一般性。有一篇博文，介绍SVM非常详尽，可以参考。地址如下：http://blog.csdn.net/v_july_v/article/details/7624837/现摘录其中的一段话对SVM做一个总结：不准确的说，SVM它本质

朴素贝叶斯分类算法，基于条件概率和贝叶斯公式，不同于 kNN 算法和 ID3 决策树算法（这二者都是明确分类算法），朴素贝叶斯是一种概率意义上的分类算法。下面先说一下概率的相关知识，再阐述朴素贝叶斯分类算法的原理。1，联合概率和条件概率：P(x) 表示 x 事件发生的概率，P(y) 表示 y 事件发生的概率，P(x,y) 表示 x 发生并且 y 也发生的联合概率，P(x|y) 表示 在

决策树算法和 kNN 算法一样，也是有监督学习，即是有分好类的训练集的。此算法通过分好类的训练集来决定出决策树长得什么样子。然后根据这个决策树来对测试集中的数据进行分类。决策树长得样子，即是说这个决策先用哪个特征换分数据集，再用哪个特征划分数据集。1，在决策树算法中，通过计算什么标准来划分数据集，方式有多种。比如可以通过 计算信息增益，还可以通过计算基尼不纯度（即度量被错误分配到其

logistic回归是分类算法中最璀璨的一个算法。在研究两分类相应变量(即只有类别0和类别1)与诸多自变量(即每条数据的各个特征变量)之间的相互关系时，常常选用logistic回归模型。关于logistic回归分类算法，《机器学习实战》一书中说的不是很好。在博客 http://blog.csdn.net/dongtingzhizi/article/details/15962797

1，和分类算法一样，回归也是预测目标值的过程。回归较之分类的不同点在于：分类预测出来的是离散型变量(类别)，而回归预测的是连续性变量。2，线性回归的结果会求出一个线性回归方程，确定回归系数的方式是 最小化误差的平方和。 即用回归系数表示出误差的平方和，然后对回归系数求导，令导数为零，即求得回归系数W。其实就是最小二乘法求回归系数。这是一般的线性回归的求法。3，很多时候，用最

中国新闻网 2016-08-17 来自：滴滴动向 8月17日电日前，国际顶级数据挖掘会议KDD2016在美国旧金山开幕，包括Google、Facebook、微软、Amazon、阿里巴巴、腾讯、百度及滴滴出行等在内的科技公司参加了本次会议，滴滴出行研究院副院长叶杰平在该会议上发表了如何利用大数据进行智能调度和供需预测的演讲。KDD 大会(国际数据挖掘与知识发现大会， ACM SIGKDD Conf