1. 损失函数损失函数（Loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数，通常用L(Y,f(x))来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示：其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ是正则化项（reg

Xavier初始化:条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。初始化方法：假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign论文地址：Understanding the difficulty of training deep feedforward neural networks参考资料：深度学习之参数初始化（一）——Xa

SciPy的optimize模块提供了许多数值优化算法，下面对其中的一些记录。非线性规划（scipy.optimize.minimize）一.背景：现...

一、CNN卷积神经网络的经典网络综述下面图片参照博客：http://blog.csdn.net/cyh_24/article/details/51440344二、LeNet-5网络 输入尺寸：32*32卷积层：2个降采样层(池化层)：2个全连接层：2个输出层：1个。10个类别（数字0-9的概率）LeNet-5网络是针对灰度图进行训练的，输入图像大小为32*32*1，不包含输入层的情况下共

　　Global Average Pooling(简称GAP，全局池化层)技术最早提出是在这篇论文（第3.2节）中，被认为是可以替代全连接层的一种新技术。在keras发布的经典模型中，可以看到不少模型甚至抛弃了全连接层，转而使用GAP，而在支持迁移学习方面，各个模型几乎都支持使用Global Average Pooling和Global Max Pooling(GMP)。 然而，GAP是

Image caption generation: https://github.com/eladhoffer/captionGenSimple encoder-decoder image captioning: https://github.com/udacity/CVND---Image-Captioning-Project (Paper)StyleNet: Generating A

局部最优和鞍点  造成神经网络难以优化的一个重要（乃至主要）原因不是高维优化问题中有很多局部极值，而是存在大量鞍点。  吴恩达视频中讲的，虽然没有理论的证明，局部最小值就是全局最小值，但是很多实际的经验告诉我们，最后，只能收敛到一个最小值，也就是说，很多现实实际问题是只有一个最小值的。但这个最小值通常是鞍点。认识鞍点的历史  BP算法自八十年代发明以来，一直是神经网络优化的最基本的方...

1.scp基本格式scp local_file user@host:/dir2.scp复制文件到指定端口scp默认连接的远端主机22端口，如果ssh不是使用标准的22端口（以16022为例）则使用-P（P大写）指定：scp -P 16022 local_file user@host:/dir3.从远端主机将文件复制到另一台远端主机scp不仅可以将文件从本机复制到远端机器，还可以将文件从远端机复制到

参考链接：墙裂推荐：https://cloud.tencent.com/developer/article/1049579英文版原文：https://machinelearningmastery.com/check-point-deep-learning-models-keras/keras文档回调函数：http://keras-cn.readthedocs.io/en/latest/other/

　　Global Average Pooling(简称GAP，全局池化层)技术最早提出是在这篇论文（第3.2节）中，被认为是可以替代全连接层的一种新技术。在keras发布的经典模型中，可以看到不少模型甚至抛弃了全连接层，转而使用GAP，而在支持迁移学习方面，各个模型几乎都支持使用Global Average Pooling和Global Max Pooling(GMP)。 然而，GAP是