加深理解数据挖掘概念及数据的一些理论内容，会让你对数据有直观的认识，保持清晰的目的性，在之后的数据挖掘工作中如鱼得水。数据挖掘到底是啥?官方定义，在大型数据存储库中，自动地发现有用信息的过程。数据挖掘的一般过程：1、 数据预处理2、 数据挖掘3、 后处理1、预处理。通常数据挖掘需要较大的数据量，这些数据可能格式不同，存在缺失值或无效值，即是数据清洗处理这些‘脏’数据。...

1、数据挖掘与机器学习有时候，人们会对机器学习与数据挖掘这两个名词感到困惑。如果你翻开一本冠以机器学习之名的教科书，再同时翻开一本名叫数据挖掘的教材，你会发现二者之间有相当多重合的内容。比如机器学习中也会讲到决策树和支持向量机，而数据挖掘的书里也必然要在决策树和支持向量机上花费相当的篇幅。可见二者确有相当大的重合面，但如果细研究起来，二者也的确是各自不同的领域。大体上看，数据挖掘可以视为数据...

　　在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。　　　　在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自..

时序预测（Arima 和 HoltWinters）算法 及 评估方法 整理。spark 库里没有 Spark TimeSeries 时序预测算法，但是国外有人已经写好了相应的算法。https://github.com/sryza/spark-timeseries时间序列分析时间序列，就是按时间顺序排列的，随时间变化的数据序列。生活中各领域各行业太多时间序列的数据了，销售额，顾客数，访问量...

过拟合标准定义：给定一个假设空间H，一个假设 h 属于H，如果存在其他的假设 h’ 属于H,使得在训练样例上 h 的错误率比 h’ 小，但在整个实例分布上 h’ 比 h 的错误率小，则假设 h 过度拟合训练数据。 —-《Machine Learning》Tom M.Mitchell  因为在统计学习中，假设数据满足独立同分布（i.i.d，independently ...

隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。基本理论隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向...

特征选择在实际工程中，对于特征变量的选取，往往是基于业务经验，也就是所谓你的先验知识。现在数据的特征维度很多，而能作为训练集的样本量却往往远小于特征数量（如基因测序、文本分类）。特征选择的好处：便于理解和可视化数据，降低计算及存储压力，对抗维度灾难以提高模型预测准确率等等。特征选择的三类主流方法为：过滤式、包裹式、嵌入式。一、过滤式变量排序就是一种典型的过滤式方法，...

mysql数据库安装不了了！mysql最后一步安装不上！mysql就是安装不上！是不是很头疼，很伤脑筋，现在大家不用着急了，小编为大家整理了mysql安装失败的原因以及mysql安装失败的解决方法，抓紧来看看吧！困难1：MySQL 5.1 安装过程中报apply security setting错误1.卸载MySQL。2.删除目录 C:\Documents and Settings\A...

这篇文章在宏观上很好地描述了用户画像的主要内容。（文章内的图片来源于不同帖子，侵删）一、什么是用户画像用户画像是指根据用户的属性、偏好、生活习惯、行为等信息，抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算机处理。...