前言曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。不一致体现在推断和训练时使用的输入不同，在训练时每一个词输入都来自真实样本（GroudTruth），但是在推断时当前输入用的却是上一个词的输出。解决方案1.使用scheduled-sampling，简单的做法就是在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。而这个概率p是随

torch.heaviside()

给定一个observation variable x(比如RGB图片)和latent variable z (比如是RGB图片经过encoder得到的latent feature)，假设我们想学习后验概率，但发现在实际中不易或不能求解，那么该如何求解这个后验概率？

device ( torch.device, optional) – 返回张量的所需设备。默认值：如果None，则使用当前设备作为默认张量类型（请参阅torch.set_default_tensor_type()）。dtype ( torch.dtype , optional) – 如果是None，这个函数返回一个带有 dtype 的张量torch.int64。默认值：False。layout (

pytorch 中torch.ones_like和torch.zero_like函数详解

torch中的数据类型和相互转换

思路：将每个概率值对应到[0,1]区间内的各个子区间（概率值大小体现在子区间的长度上），每次采样时，按照均匀分布随机生成一个[0,1]区间内的值，其落到哪个区间，则该区间概率值对应的元素即为被采样的元素；...

按照上述图示来看，需要注意的几点就是index的数值和维度分别对应的是self和src的取值。

pytorch 中torch.all函数详解

当网络的评价指标不在提升的时候，可以通过降低网络的学习率来提高网络性能。所使用的类class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10,verbose=False, threshold=0.0001, threshold_mode='rel', cooldown