Batch Normalization BN1 归一化概念2 归一化作用 归一化为什么能提高求解最优解速度3D 图解未归一化 局部响应归一化作用及理解3 归一化类型 线性归一化 标准差标准化非线性归一化4 批归一化（Batch Normalization，BN）概念5 批归一化算法流程及优点6 批归一化和群组归一化7Weight Normalization和Batch Normalization比

1 激活函数的概念2 激活函数意义3 激活函数是非线性函数原因4 常见的激活函数及导数A sigmoid 激活函数B tanh激活函数——双曲正切函数C Relu激活函数——优先选择D Leaky Relu激活函数（PReLU）E ELU激活函数5 激活函数的性质6 激活函数的选择7 Softmax函数A Softmax函数定义（以第 i 个节点输出为例）B Softmax函数求导8 交叉熵代价函

前/反馈神经网络 FeedForwardNNFeedBackNN

【深度学习笔记】-代码解读4-图像数据增强 cv2.resize 尺寸放大缩小cv2.warpAffine 旋转（任意角度，如45°，90°，180°，270°）cv2.flip 翻转（水平翻转，垂直翻转）明亮度改变（变亮，变暗）cv2.warpAffine 像素平移（往一个方向平移像素，空出部分自动填补黑色）添加噪声（椒盐噪声，高斯噪声）

相应视频学习

【深度学习笔记】-代码解读5 -pytorch自带分类模型AlexnetVGG——vgg11 vgg13 vgg16 vgg19ResNet——resnet18 resnet34 resnet50 resnet101 resnet152Inception——inception_v3

【深度学习笔记】-代码解读7-模型训练、验证与可视化

learning rate概念理解1 学习率2 学习率衰减常用参数3 分段常数衰减4 指数衰减5 自然数衰减6 多项式衰减7 余弦衰减

FP BP概念深度学习基础 前向传播与反向传播及案例、计算方式forward propagation backward propagation

learning rate概念理解1 学习率2 学习率衰减常用参数3 分段常数衰减4 指数衰减5 自然数衰减6 多项式衰减7 余弦衰减