大家好，继续理论学习，终于开始学习贝叶斯啦！本文主要参考周志华的西瓜书和众多博客加上自己的理解。拉普拉斯修正避免了因训练集样本不充分造成的概率估值为零的问题，并且在训练集变大时，修正引入的先验的影响也会减小，概率趋近于真实概率。贝叶斯应该还没有完结，可能会有下一篇博客，我们下期见！...

大家好，一直在用深度学习，但是感觉理论并不扎实，打算开始补点理论基础，在CSDN上记录下来。今天介绍随机梯度下降法和反向传播，首先介绍梯度下降法。1.梯度下降法梯度下降法是从初始值开始，向函数上当前点对应梯度的反方向的规定步长的距离点进行迭代搜索，最终得到最小值的过程。公式简易推导如下：更直观的图像表示如图所示：这是学习率为0.001，迭代两百次的示意图，当学习率设的更...

大家好，继续理论学习，最近开始找工作了，非常忙，只能找零碎时间学习，记录也慢了一点。1.生成式模型&&判别式模型判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有 线性回归模型、线性判别分析、支持向量机SVM、神经网络等。生成式模型（Generative Model）则会对x和y的联合分布p(x,y)建模，

大家好，继续理论学习，今天介绍几种最常见的特征提取算法。1.LBP算法（Local Binary Patterns，局部二值模式）LBP算子是一种用来描述图像局部纹理特征的算子，具有灰度不变性。其主要思想是在目标像素周围定义一个3x3的窗口，以目标像素为阈值，将相邻的8个像素的灰度值与目标像素进行对比，如果大于目标像素，则标记为1，如果小于等于则标记为0。这样，对每一个窗口都可以产生一...

大家好，继续深度学习的理论日记，本次介绍数据预处理相关内容。在深度学习中，大家都会发现训练集，验证集合测试集划分好之后会有减去均值的一步操作，但很多人都是只跟着做，并没有探究为什么要做这一步处理。其主要原理是我们默认自然图像是一类平稳的数据分布(即数据每一维的统计都服从相同分布)，此时，在每个样本上减去数据的统计平均值可以移除共同的部分，凸显个体差异。其效果如下所示：可以看到天空的纹理被移除了，凸