随机森林随机森林是集成学习分(Ensemble Learning)中的一种。随机森林主要体现在‘随机’和‘森林’上。0.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。

LDA变分EM算法变分推理(variational inference)是贝叶斯学习中常用的，含有隐变量模型的学习方法。变分推理和上一章节的吉布斯采样不同，吉布斯采样的算法通过随机抽样的方法近似计算模型的后验概率，而变分推理通过解析的方法计算模型的后验概率的近似值。本章节内容参考李航博士的《统计学习方法》书中是简化版本的变分EM算法推导，本章节进行完整的推导。1. 变分推理变分推理的思想如下：假设

opitimizers1. 优化器算法1.1 SGD 算法没有动量的SGD算法：θ←θ−lr∗g\theta \leftarrow \theta - lr * gθ←θ−lr∗g其中θ\thetaθ是参数，lrlrlr是学习率，ggg是梯度。有动量的SGD算法：v←α∗v+lr∗gv \leftarrow \alpha * v + lr * gv←α∗v+lr∗gθ←θ−v\theta \left

损失函数深度学习中损失是用来衡量预测结果和真实结果的误差，从而能够反向传播更新整个网络参数。1. 均方误差(MSE)MSE(Mean Square Error)一般用于回归问题。其由在假设误差服从高斯分布的条件下得到，具体推导见机器学习之线性回归原理与Python实现.公式：l(ypred)=12(ypred−y)2 l(y_{pred}) = \frac {1} {2} (y_{pred} -

逻辑回归逻辑回归和线型回归的比较：1.都是线型模型2.线型回归的y是连续型的，而逻辑回归是二分类的3.他们的参数空间都是一致的，信息都蕴含在了w和b中。1.逻辑回归的原理1.1 逻辑回归的背景知识由于逻辑回归的结果是分布在0-1区间，所以在线型回归的基础上做一个映射fff，即：f(x11w1+x12w2+x13w3+...+x1jwj+...+x1mwm+b)=y^1f( x_{11}w_1 +

隐马尔可夫模型（hidden Markov model, HMM）是可用于标注问题的统计学模型，是生成模型。1 从一个自然语言处理处理开始

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。本文主要参考内容：https://blog.csdn.net/zhaojc1995/article/details/805720981. RNN下图是一个标准结构的RNN的前向传播过程其中xxx是输入，hhh是隐藏层单元，ooo为输出，LLL为损失函数，yyy是训练集的标签，ttt代表时刻状态，UUU是从输

Word2vec1. 独热编码热编码(one-hot recording)如果词典如下V=(apple,going,I,home,machine,learning)V = (apple, going, I, home, machine, learning)V=(apple,going,I,home,machine,learning)apple=(1,0,0,0,0,0)machine=(0,0,0

EM算法的简介EM算法由两步组成：E步和M步，是最常用的迭代算法。本文主要参考了李航博士的《统计学习方法》在此基础上主要依据EM算法原理补充了三硬币模型的推导。1.EM算法的原理1.1从一个例子开始三硬币模型假设有3枚硬币，分别记作A，B和C。 这些硬币正面向上的概率分别是 π,p\pi,pπ,p 和 qqq 。进行如下抛硬币试验：1、先抛硬币A, 根据其结果选出硬币B或者硬币C，正面选硬币B，反

RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。本文主要参考内容：https://blog.csdn.net/zhaojc1995/article/details/805720981. RNN下图是一个标准结构的RNN的前向传播过程其中xxx是输入，hhh是隐藏层单元，ooo为输出，LLL为损失函数，yyy是训练集的标签，ttt代表时刻状态，UUU是从输