在CSDN上发布的博客，在github中都有。对于阅读而言，CSDN更方便；对于收藏而言，github更友好。所有关于算法的内容都整理到了：https://github.com/whitenightwu/11-Algorithm_and_Data所有关于编程和深度学习框架使用的内容都整理到了：https://github.com/whitenightwu/12-Engineering_and...

siamese网络(孪生网络)  05年Yann Lecun提出来的。提起siamese network一般都会引用这两篇文章： 《Learning a similarity metric discriminatively, with application to face verification》和《 Hamming Distance Metric Learning》。  Siamese也..

Relu的变种softplus/softrelu  softplus 是对 ReLU 的平滑逼近的解析函数形式。  softplus的公式：  f(x)=ln(1+e^x)Relu与PRelu  ai是增加的参数，ai=0；为ReLU，若ai取很小的固定值，则为leaky ReLU，这个激活函数可以修正ReLU频繁出现神经元die的情形，至于哪种更好没有定论。...

感知损失(Perceptual Loss)  常用于GAN网络生成。  Perceptual Loss的出现证明了一个训练好的CNN网络的feature map可以很好的作为图像生成中的损失函数的辅助工具。  GAN可以利用监督学习来强化生成网络的效果。其效果的原因虽然还不具可解释性，但是可以理解为可以以一种不直接的方式使生成网络学习到规律。  图像风格转换算法将图片生成以生成的方式进行处...

局部连接层(Locally-Connected Layer)  locally-conv的概念来自传统ML中的模型初始化（随机树方法中每个图像的crop都对应特定的一棵树）。  参数共享这个策略并不是每个场景下都合适的。有一些特定的场合，我们不能把图片上的这些窗口数据都视作作用等同的。（特别是当卷积神经网络的输入图像是一些明确的中心结构时候。）  当图像局部相似匹配时，我们就应该期望在图片的...

1D/2D/3D卷积简介  他们处理的都是input tensor前几个维度的信息。  1）1D主要用于NLP中的N_gram，一维卷积又称时域卷积。  2）2D和3D卷积用于图像。其中2D卷积处理的是一张图像，3D卷积处理的就是多张图像。3D卷积考虑时间维度的信息。  参考资料：  https://github.com/vdumoulin/conv_arithmetic...

深度神经网络可以分为3类：  1）前馈深度网络(feed-forwarddeep networks, FFDN)  2）反馈深度网络(feed-back deep networks, FBDN)  3）双向深度网络(bi-directionaldeep networks, BDDN)前馈深度网络(feed-forwarddeep networks, FFDN)  由多个编码器层叠加而成。...

logits  深度学习源码里经常出现logits  logits: 未归一化的概率， 一般也就是 softmax层的输入。所以logits和lables的shape一样

马可夫决策过程（MDP）  强化学习的目标是最大化累积奖赏，这一点与马可夫决策过程（MDP）的目标一致，因此强化学习也常常用MDP来建模。MDP的细节  一个MDP定义为四元组<S, A, T, R>，其中：  S表示环境状态的集合；A为“动作”集合，即学习器的输出值域；T为转移函数，定义了环境的根据动作的转移；R为奖赏函数，定义了动作获得的奖赏。  M

时延神经网络（time delay neural network/TDNN）  时延神经网络（time delay neural network/TDNN）是第一种为 ASR 使用多个 CNN 层的模型。这种模型在时间轴和频率轴上都应用了卷积运算。...