基本循环神经网络下图是一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：这个网络在t时刻接收到输入之后，隐藏层的值是，输出值是。关键一点是的值不仅仅取决于，还取决于。我们可以用下面的公式来表示循环神经网络的计算方法：式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点...

前面一文我们简单得介绍了ConvLSTM得原理和应用场景，现在来看看在Tensorflow它具体是如何实现得。 值得一说得是Tensorflow在实现这个算法得时候并没有使用peepholes，即下面的红色部分，而是基于原始的LSTM网络结构改变的。不过在最后，我也会给出一个仿照Tensorflow实现的基于peepholes的ConvLSTM版本。1.用法在接受具体用法前，先来大致解释一下参数。

神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。参数初始化的理想状态是参数正负各半，期望为0。过大或者过小的初始化如果权值的初始值过大，则会导致梯度爆炸，使得网络不收敛；过小的权值初始

一个新的激活函数——Relu最近几年卷积神经网络中，激活函数往往不选择sigmoid或tanh函数，而是选择relu函数。Relu函数的定义是：Relu函数图像如下图所示：Relu函数作为激活函数，有下面几大优势：速度快和sigmoid函数需要计算指数和倒数相比，relu函数其实就是一个max(0,x)，计算代价小很多。减轻梯度消失问题回忆一下计算梯度的公式。其中，是sigmoid函数的导数。在使

递归神经网络是啥因为神经网络的输入层单元个数是固定的，因此必须用循环或者递归的方式来处理长度可变的输入。循环神经网络实现了前者，通过将长度不定的输入分割为等长度的小块，然后再依次的输入到网络中，从而实现了神经网络对变长输入的处理。一个典型的例子是，当我们处理一句话的时候，我们可以把一句话看作是词组成的序列，然后，每次向循环神经网络输入一个词，如此循环直至整句话输入完毕，循环神经网络将产生对应的输出

本文介绍一种神经网络的可视化方法：积分梯度（Integrated Gradients），它首先在论文 Gradients of Counterfactuals[1] 中提出，后来 Axiomatic Attribution for Deep Networks[2] 再次介绍了它，两篇论文作者都是一样的，内容也大体上相同，后一篇相对来说更易懂一些，如果要读原论文的话，建议大家优先读后一篇。当然，它已

device ( torch.device, optional) – 返回张量的所需设备。默认值：如果None，则使用当前设备作为默认张量类型（请参阅torch.set_default_tensor_type()）。dtype ( torch.dtype , optional) – 如果是None，这个函数返回一个带有 dtype 的张量torch.int64。默认值：False。layout (

pytorch 中torch.ones_like和torch.zero_like函数详解

torch中的数据类型和相互转换

思路：将每个概率值对应到[0,1]区间内的各个子区间（概率值大小体现在子区间的长度上），每次采样时，按照均匀分布随机生成一个[0,1]区间内的值，其落到哪个区间，则该区间概率值对应的元素即为被采样的元素；...