在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），是一种处理文档的主题模型。本文只讨论线性判别分析，因此后面所有的LDA均指线性判别分析。线性判别分析LDA: linear discriminant analysis一、LDA思想：类间小，类间大...

一、背景（为什么要有变分推断？）简单来说便是需要根据已有数据推断需要的分布P；当P不容易表达，不能直接求解时，可以尝试用变分推断的方法。即，寻找容易表达和求解的分布Q，当Q和P的差距很小的时候，Q就可以作为P的近似分布代替P。二、公式推导三、总结变分推断是利用已知分布通过调整使其符合我们需要却难以用公式表达的分布。由ELOB和KL散度的关系，...

1. 前向搜索　　每次增量地从剩余未选中的特征选出一个加入特征集中，待达到阈值或者时，从所有的中选出错误率最小的。过程如下：初始化特征集为空。扫描从到如果第个特征不在中，那么特征和放在一起作为(即)。在只使用中特征的情况下，利用交叉验证来得到的错误率。从上步中得到的个中选出错误率最小的,更新为...

novelty detection：当训练数据中没有离群点，我们的目标是用训练好的模型去检测另外发现的新样本outlier dection：当训练数据中包含离群点，模型训练时要匹配训练数据的中心样本，忽视训练样本中的其他异常点。一、outlier dection1.孤立森林（Isolation F...

1.评价指标的局限性问题1 准确性的局限性准确率是分类问题中最简单也是最直观的评价指标，但存在明显的缺陷。比如，当负样本占99%时，分类器把所有样本都预测为负样本也可以获得99%的准确率。所以，当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。例子：Hulu的奢侈品广告主希望把广告定向投放给奢侈品用户。Hulu通过第三方的数据管理平台拿到了一部...

问题描述：样本为所有恐龙名字，为了构建字符级语言模型来生成新的名称，你的模型将学习不同的名称模式，并随机生成新的名字。在这里你将学习到：如何存储文本数据以便使用rnn进行处理。如何合成数据，通过每次采样预测，并将其传递给下一个rnn单元。如何构建字符级文本生成循环神经网络。为什么梯度修剪很重要?...

模型：FastTextTextCNNTextRNNRCNN分层注意网络（Hierarchical Attention Network）具有注意的seq2seq模型（seq2seq with attention）Transformer("Attend Is All You Need")动态记忆网络（Dynamic Memory Network）实体网...

1. 什么是Dropout（随机失活）　　就是在神经网络的Dropout层，为每个神经元结点设置一个随机消除的概率，对于保留下来的神经元，我们得到一个节点较少，规模较小的网络进行训练。　　标准网络和dropout网络:左边是简单的模型，右边是含有dropout的模型　　l: hidden layer index (隐藏层索引） 　　z: de...

一、高斯网络（高斯图模型）总体介绍概率图模型分为三种：贝叶斯网络，马尔科夫随机场以及高斯网络；而高斯网络又可以根据有向无向细分为高斯贝叶斯网络和高斯马尔科夫随机场二、高斯贝叶斯网络1、高斯贝叶斯网络是有向图，x服从高斯分布，y|x服从高斯分布高斯贝叶斯网络（global model）是基于线性高斯模型（local model）的。2、HMM与G...

　　作为一种随机采样方法，马尔科夫链蒙特卡罗（Markov Chain Monte Carlo，以下简称MCMC）在机器学习,深度学习以及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础。比如分解机(Factorization Machines)推荐算法，还有前面讲到的受限玻尔兹曼机（RBM）原理总结，都用到了MCMC来做一些复杂运算的近似求解。下面我们就对MCMC的原理做一个...