https://www.toutiao.com/a6687884910335623691/

 

总体内容概括

本文综述了几种提高训练精度和缩短训练时间的优化方法。深入研究了最近深度网络中使用的训练算法背后的数学原理。将描述当前的缺点、增强和实现。本文还介绍了深度卷积网络、深度残差网络、递归神经网络、增强学习、变分自编码器等不同类型的深度结构。

为了方便大家理解，我首先放几张图片和表格

Github上深度学习库的趋势

 

深度学习框架和库热度

 

CNN算法的伪代码

 

DNN网络对比

 

深度学习算法对比

 

深度学习算法劣势及解决办法

 

大致目录：

目录

1. 引言
2. 神经网络的分类

• 前馈神经网络
• 递归神经网络
• 径向基函数神经网络
• Kohonen自组织神经网络
• 模块化神经网络

3. 神经网络架构

• 卷积神经网络
• Autoencoder
• 受限玻尔兹曼机(RBM)
• 长短时记忆(LSTM

4. 训练算法

• Gradient Descent
• Stochastic Gradient Descent
• Momentum
• Levenberg–Marquardt algorithm
• Backpropagation through time

5. 训练算法缺陷

• a. vanishing and exploding gradients
• b. local minima
• c. flat regions
• d. steep edges
• e. training time
• f. overfitting

6. 优化算法

7. 算法架构实现