一、在java类中直接执行python语句import org.python.util.PythonInterpreter;public class FirstJavaScript {public static void main(String args[]) {PythonInterpreter interpreter = new PythonInterpre...

特征选择在实际工程中，对于特征变量的选取，往往是基于业务经验，也就是所谓你的先验知识。现在数据的特征维度很多，而能作为训练集的样本量却往往远小于特征数量（如基因测序、文本分类）。特征选择的好处：便于理解和可视化数据，降低计算及存储压力，对抗维度灾难以提高模型预测准确率等等。特征选择的三类主流方法为：过滤式、包裹式、嵌入式。一、过滤式变量排序就是一种典型的过滤式方法，...

加深理解数据挖掘概念及数据的一些理论内容，会让你对数据有直观的认识，保持清晰的目的性，在之后的数据挖掘工作中如鱼得水。数据挖掘到底是啥?官方定义，在大型数据存储库中，自动地发现有用信息的过程。数据挖掘的一般过程：1、 数据预处理2、 数据挖掘3、 后处理1、预处理。通常数据挖掘需要较大的数据量，这些数据可能格式不同，存在缺失值或无效值，即是数据清洗处理这些‘脏’数据。...

XGBoostXGBoost能自动利用cpu的多线程，而且适当改进了gradient boosting，加了剪枝，控制了模型的复杂程度传统GBDT以CART作为基分类器，特指梯度提升决策树算法，而XGBoost还支持线性分类器(gblinear)，这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统GBDT在优化时只用到一...

在统计学中，抽样（Sampling）是一种推论统计方法，是指从目标总体（Population，或称为母体）中抽取一部分个体作为样本（Sample），通过观察样本的某一或某些属性，依据所获得的数据对总体的数量特征得出具有一定可靠性的估计判断，从而达到对总体的认识。概率抽样方法简单随机抽样（simple random sampling），也叫纯随机抽样。从总体N个单位中随机地抽取n个单位作为样...

机器学习中的各种熵，什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？前言：你必须知道的信息论1948年，数学家和电气工程师克劳德香农（Claude Elwood Shannon）在其开创性论文《通信的数学理论》中提出了“信息论”，这一概念。对深度学习和人工智能的发展具有非凡的意义。那么，对于信息论大家又了解多少呢？在本文中，Abhis...

有了 Sigmoid 函数之后，由于其值取值范围在[0,1]。就可以将其视为类 1 的后验概率估计 p(y=1|X)。就是如果有一个测试点 x，就可以用Sigmoid函数算出来的结果当作该点 x 属于类别 1 的概率大小。于是，非常自然地，把 Sigmoid 函数计算得到的值大于等于0.5的归为类别1，小于0.5的归为类别0：1.逻辑斯蒂回归模型LR模型主要用于分类模型，细...

经典线性模型自变量的线性预测就是因变量的估计值。广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等。对数线性模型里有：logistic regression、Maxinum entropy。1.线性回归原理其中，为偏置参数，M为特征数目，为基函数（径向基函数(rbf)、sigmoid基函数等），特...

面板数据(Panel Data)是将“截面数据”和“时间序列数据”综合起来的一种数据类型。具有“横截面”和“时间序列”两个维度，当这类数据按两个维度进行排列时，数据都排在一个平面上，与排在一条线上的一维数据有着明显的不同，整个表格像是一个面板，所以称为面板数据(Panel Data)。实际上如果从数据结构内在含义上，应该把Panel Data称为“时间序列-截面...

隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。基本理论隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向...