1 激活函数的概念2 激活函数意义3 激活函数是非线性函数原因4 常见的激活函数及导数A sigmoid 激活函数B tanh激活函数——双曲正切函数C Relu激活函数——优先选择D Leaky Relu激活函数（PReLU）E ELU激活函数5 激活函数的性质6 激活函数的选择7 Softmax函数A Softmax函数定义（以第 i 个节点输出为例）B Softmax函数求导8 交叉熵代价函

Batch Normalization BN1 归一化概念2 归一化作用 归一化为什么能提高求解最优解速度3D 图解未归一化 局部响应归一化作用及理解3 归一化类型 线性归一化 标准差标准化非线性归一化4 批归一化（Batch Normalization，BN）概念5 批归一化算法流程及优点6 批归一化和群组归一化7Weight Normalization和Batch Normalization比

相应视频学习

learning rate概念理解1 学习率2 学习率衰减常用参数3 分段常数衰减4 指数衰减5 自然数衰减6 多项式衰减7 余弦衰减

Batch Normalization BN1 归一化概念2 归一化作用 归一化为什么能提高求解最优解速度3D 图解未归一化 局部响应归一化作用及理解3 归一化类型 线性归一化 标准差标准化非线性归一化4 批归一化（Batch Normalization，BN）概念5 批归一化算法流程及优点6 批归一化和群组归一化7Weight Normalization和Batch Normalization比

learning rate概念理解1 学习率2 学习率衰减常用参数3 分段常数衰减4 指数衰减5 自然数衰减6 多项式衰减7 余弦衰减

【深度学习笔记】-代码解读4-图像数据增强 cv2.resize 尺寸放大缩小cv2.warpAffine 旋转（任意角度，如45°，90°，180°，270°）cv2.flip 翻转（水平翻转，垂直翻转）明亮度改变（变亮，变暗）cv2.warpAffine 像素平移（往一个方向平移像素，空出部分自动填补黑色）添加噪声（椒盐噪声，高斯噪声）

Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic DataBlind Super-Resolution：盲超分辨率Pure Synthetic Data：纯合成数据论文研读申明摘要在blind super-resolution领域中：现实世界中，恢复具有未知和复杂退化的低分辨率图像（restore

1.image.open(image_path)2.image = np.array(image)3.Opencv 相关延伸Python：一张图像在网络中会遇到什么？array和asarray

【深度学习笔记】-代码解读5 -pytorch自带分类模型AlexnetVGG——vgg11 vgg13 vgg16 vgg19ResNet——resnet18 resnet34 resnet50 resnet101 resnet152Inception——inception_v3