前言在今年的CVPR论文中，提出了一种新的loss function和轻量型模型SkipBlockNet，它在结果上（FLOPs相同量级）上确实超越了MobileNetV3在ImageNet上的效果，而本篇博客着重复现SkipBlockNet网络，对loss不进行过多详解。网络结构如图所示，在论文中SkipBlockNet是由15个inverted residual block组成，而Skip b

前言在之前的博客中我们将了self-attention，在图像领域中应用大多数基于[H,W]这个维度，也就是图像的空间维度，本篇Dual Attention Network for Scene Segmentation，不仅在空间维度上的attention，也在channel的维度上进行attention。目前的主流attention机制：基于空间域的：self-attention，soft/ha

前言近几年attention用在图像识别，分割等领域上越来越多了，从去年的GCnet，CCnet，再到Dual attention,大多数都是引入attention，进行相应的变种，但是他们的共同点都是把一个维度为**[batch_size,H,W,C]的tensor转化为[batch_size,HW,C]，然后进行各种操作，如下图所示。这种转化是否会带来Channel上面的信息损失，Tensor

前言RNN有多种形式，LSTM，GRU等等，这是在RNN每一个基本结构中改变RNN的形式，目前还有两种通过叠加RNN的层数来对数据进行分析的，如双向RNN和深层RNN，其中双向RNN，是认为转入数据与之前和之后的传入数据是相关的，深层RNN是针对于浅层RNN不等很好的提取数据中的抽象特征所提出的。笔者最近在研究语音识别方向，简单的尝试了ctc与LSTM的结合，但是语音数据较少，笔者之前一直研究..

摘要笔者最近在研究语音识别的项目，发现与图像不同的是，语音识别在深度学习网络面临着帧长不等（相对来说图像有很多解决方法，如：crop，resize）的问题，而目前在语音方向上的一个较为常规的方法是选定较大的帧长，然后padding 0，这种方法会让零参与运算，而NIN（network in network）的方法给了笔者一个新的思路，可以解决这一问题。Global averge pooling..

FSMN前言FSMN全称：Feedforward Sequential Memory Networks，是国内知名的讯飞公司所提出，据笔者所知可能应用到了阿里的语音识别以及唤醒的，作为一种可以和RNN比较的网络，我觉得大家有必要的去学习以及了解一下网络结构在论文中的结构如图所示，其实FSMN是改进了DNN的算法，也就是在DNN网络中相应的某一层中加入了Memory block，这种结构分...