1. 综述     1.1 Cover和Hart在1968年提出了最初的邻近算法     1.2 分类(classification)算法     1.3 输入基于实例的学习(instance-based learning), 懒惰学习(lazy learning)2. 例子：                         未知电影属于

回归监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空

统计法及其含义RSS（残差平方和）与R2（相关系数平方）选择法：遍历所有可能的组合，选出使RSS最小（残差平方和越小拟合程度越好），R2最大的模型（相关系数平方越接近1越好）R2：复判定系数（multiple coefficient of determination：相关系数的平方），衡量多元线性回归方程对数据的拟合程度。越接近1，拟合效果越好，相反，越接近0，拟合效果越差相关系数ρXY：取

分类与聚类的区别Classification (分类)：一个 classifier会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian clas

主成分分析与因子分析1）概念：主成分分析概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。主成分分析（PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量称为主成分。PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。因子分析概念：探索性因子分析（EFA

分类与聚类的区别Classification (分类)：一个 classifier会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian clas

主成分分析与因子分析1）概念：主成分分析概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。主成分分析（PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量称为主成分。PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量称为主成分，它们是观测变量的线性组合。因子分析概念：探索性因子分析（EFA

时间序列实例junjun2016年2月12日Rmarkdown脚本及数据集：http://pan.baidu.com/s/1gekA3AV实例一、使用ARIMA模型对裙子长度预测ARIMA 模型为平稳时间序列定义的。 因此， 如果你从一个非平稳的时间序列开始， 首先你就需要做时间序列差分直到你得到一个平稳时间序列。如果你必须对时间序列做 d 阶差分才能得到一

Bias(偏差)，Error(误差)，和Variance(方差)的区别1）、概念：bias ：度量了某种学习算法的平均估计结果所能逼近学习目标的程度；（一个高的偏差意味着一个坏的匹配）variance ：则度量了在面对同样规模的不同训练集时分散程度。（一个高的方差意味着一个弱的匹配，数据比较分散）靶心为某个能完美预测的模型，离靶心越远，则准确率随之降低。靶上的点代表某次对某个数据集上学

一、层次聚类1、层次聚类的原理及分类1）层次法（Hierarchicalmethods）先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后，再计算类与类之间的距离，将距离最近的类合并为一个大类。不停的合并，直到合成了一个类。其中类与类的距离的计算方法有：最短距离法，最长距离法，中间距离法，类平均法等。比如最短距离法，将类与类的距离定义为类与类之间样本的最短距离。层次聚类算法根