[深度学习网络从入门到入土] 神经网络发展脉络

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

源头

1.感知机perceptron(1950)

2.多层神经网络MLP(1980)

3.反向传播backprop

CNN

1.LeNet(1998)

首次将卷积、池化和权重共享系统性地用于端到端视觉识别，奠定 CNN 基本范式

Gradient-based learning applied to document recognition.

2.AlexNet(2012)

用 ReLU + GPU 训练的深层 CNN 在大规模数据上击败传统方法，开启深度学习时代

ImageNet Classification with Deep Convolutional Neural Networks.

3.NiN(2013)

在卷积层中引入 1×1 Conv/MLPConv，用“网络替代滤波器”显著增强特征表达能力

Network In Network.

4.VGG(2014)

用统一的 3×3 小卷积堆叠证明“网络越深越有效”，建立深度可控的结构模板

Very Deep Convolutional Networks for Large-Scale Image Recognition.

5.GoogLeNet(2014)

提出 Inception 模块，通过多尺度并行卷积在计算量可控下提升网络宽度

Going Deeper with Convolutions.

6.ResNet(2015)

引入残差连接解决深层网络退化问题，使百层以上网络可稳定训练

Deep Residual Learning for Image Recognition.

7.DenseNet(2016)

通过特征级密集连接实现极致特征复用，强化梯度流并显著减少参数冗余

Densely Connected Convolutional Networks.

序列

1.RNN(1980)

2.LSTM(1997)

3.GRU(2014)

4.seq2seq(2014)

5.temporal attention

CNN for 序列

1.因果Causal Conv

2.空洞Dilated Conv

3.TCN

4.WaveNet

5.InceptionTime

经典统计基线

1.AR / MA / ARMA / ARI

2.ETS

3.状态空间模型

4.Prophet

Attention / Transformer 系

1.transformer

2.word2vec

3.ELMo

4.BERT

5.GPT