前言曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。不一致体现在推断和训练时使用的输入不同，在训练时每一个词输入都来自真实样本（GroudTruth），但是在推断时当前输入用的却是上一个词的输出。解决方案1.使用scheduled-sampling，简单的做法就是在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。而这个概率p是随

赠券收集问题

平均倒数排名（Mean Reciprocal Rank, MRR）是一个国际上通用的对搜索算法进行评价的机制。描述结果列表中，第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和，再求平均数学形式正确检索结果值在检索结果中的排名来评估检索系统的性能。其中，是用户的个数，是对于第个用户，推荐列表中第一个在ground-trut

Categorical类详解

背景Weisfeiler-Lehman算法(威斯费勒-莱曼算法)是测试图同构的经典算法之一，我在这儿记录一下它的实现原理，参考文章为Weisfeiler-Lehman Graph Kernels伪代码论文中的伪代码如下所示假设要测试同构的两张图为G和G`，那么在结点v的第i次迭代里，算法都分别做了四步处理：标签复合集定义、复合集排序、标签压缩和重标签。标签复合集定义如果是第一次迭代，v的标签复合集

Kronecker product

基本循环神经网络下图是一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：这个网络在t时刻接收到输入之后，隐藏层的值是，输出值是。关键一点是的值不仅仅取决于，还取决于。我们可以用下面的公式来表示循环神经网络的计算方法：式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点...

前面一文我们简单得介绍了ConvLSTM得原理和应用场景，现在来看看在Tensorflow它具体是如何实现得。 值得一说得是Tensorflow在实现这个算法得时候并没有使用peepholes，即下面的红色部分，而是基于原始的LSTM网络结构改变的。不过在最后，我也会给出一个仿照Tensorflow实现的基于peepholes的ConvLSTM版本。1.用法在接受具体用法前，先来大致解释一下参数。

torch.heaviside()