机器学习——贝叶斯算法和朴素贝叶斯算法前言贝叶斯算法1、贝叶斯决策论算法示例前言先理解下贝叶斯算法要解决的问题：正向概率： 假设袋子里面有N个白球，M个黑球，伸手进去摸一把，摸出黑球的概率有多大？很简单：M/(N+M)逆向概率： 如果事先并不知道袋子里黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么就可以对此袋子里面的黑白球的比例作出什么样的推测...

问题记录：为什么使用GPU训练模型会越来越慢？本篇没前言，没总结，就仅仅是记录下我的一个“傻瓜式”代码。。。。。。在RPN上修改我的代码，使用GPU跑训练越来越慢，每次迭代消耗时间越来越大。经过仔细查找，发现犯了一个sb错误，在每次迭代都是新建了一个读gt的新图，这样会使整个图越来越来，训练越来越慢，最终导致内存爆了。怎么排查？答：在session定义下使用sess.graph.fina...

传统机器学习——特征工程之数值处理前言二值化区间量化（分箱）1.固定宽度分箱前言书接上文，前面两篇介绍了关于空值的处理，这篇开始用不同手段细化处理过程，本篇将会介绍数值型数据的二值化、区间量化（分箱）、对数变换、指数变换、特征缩放\归一化、交互特征、特征选择。（注：为了只操作在一个数据集上，有些原理在其上的应用可能比较生硬）声明：关于编程语法相关问题不会展开论述，本文只针对方法路线。二值...

传统机器学习——特征工程之数值处理前言二值化区间量化（分箱）1.固定宽度分箱前言书接上文，前面两篇介绍了关于空值的处理，这篇开始用不同手段细化处理过程，本篇将会介绍数值型数据的二值化、区间量化（分箱）、对数变换、指数变换、特征缩放\归一化、交互特征、特征选择。（注：为了只操作在一个数据集上，有些原理在其上的应用可能比较生硬）声明：关于编程语法相关问题不会展开论述，本文只针对方法路线。二值...

机器学习——回归算法之最小角回归（Least angle regression， LARS）前言算法思想示例代码前言最小角回归涉及到了相关系数（current correlations）,但这里并不会具体定义相关系数的定义，只需要在知道它是用来衡量两个变量相关程度的就可以了。算法思想这里用一张图来说明算法的基本思想：从简单的情况说明，假设有两个样本x1和x2，真实标签为y2^(图中绿色的...

一直想总结下目标检测的一系列算法，分为两个主要路线，一个是从RCNN发展起来的两阶段算法，另一个是以YOLO发展的一阶段算法。本篇属于RCNN算法中重要的一部分，用来解决生成候选区域的问题，算是基础，也很重要，尽管该算法已经过时了，但是掌握其中的思想用来解决可以问题还是不错的。简述作用：在原图片上，以尽可能快和好地生成可能包含目标的候选块。换句话说，避免了穷举法的计算量大且无图像本身信息的缺点。解

数据挖掘——时间序列算法前言一、平滑法1、简述2、移动平均法2.1、简单移动平均2.2、加权移动平均法3、指数平滑法前言时间序列是许多数据挖掘任务重最常见的类型之一，同时也比较难处理。这篇记录下我所理解下的时间序列模型的算法。注意，这不是特征工程，而是算法（暂时是这样理解的，毕竟目前还没使用过这些方法做特征工程）。一、平滑法1、简述所谓时间序列平滑预测是指用平均的方法，把时间序列中的随机...

机器学习——特征工程之数据降维:低维嵌入（一）前言低维嵌入（MDS）主成分分析（PCA）前言前面关于特征工程已经可以将大部分数据集转成期望的纯数字形式，但是有时数据维数太多会造成维数灾难，，所以需要降维。降维有几种方法：低维嵌入(MDS)、主成分分析(PCA）、线性判别分析(LDA)、核化线性降维（KPCA）、局部线性嵌入（LLE）、SVD。如果有可能，会一一说明（此部分内容大部分来自西瓜书）..

机器学习——回归算法之正交匹配追踪算法（Orthogonal Matching Pursuit，OMP）前言匹配追踪算法(Matching Pursuit,MP)1、算法思想2、算法过程3、MP算法的问题正交匹配追踪算法(Orthogonal Matching Pursuit,OMP)1、算法思想2、算法流程3、代码前言学习正交匹配追踪算法之前需要看懂匹配追踪算法(MP)，显然OMP是在MP的..

机器学习——特征工程之数据相关性前言图表相关性协方差和协方差矩阵代码实现相关系数1、皮尔逊相关系数( Pearson correlation coefficient）2、斯皮尔曼相关性系数、秩相关系数（spearman correlation coefficient）3、Kendall Rank（肯德尔等级）相关系数信息熵和互信息前言在样本属性很多的数据集中，一定会存在一些与标签关系不那么强的..