深度残差网络ResNet是2015年ILSVRC的冠军，深度达152层，是VGG的8倍，top-5错误率为3.6%。ResNet的出现使上百甚至上千层的神经网络的训练成为可能，且训练的效果也很好，利用ResNet强大的表征能力，使得图像分类、计算机视觉（如物体检测和面部识别）的性能都得到了极大的提升。一、残差学习根据无限逼近定理(Universal Approximation The...

 激活函数（Activation Function）一般用于神经网络的层与层之间，将上一层的输出转换之后输入到下一层。如果没有激活函数引入的非线性特性，那么神经网络就只相当于原始感知机的矩阵相乘。 一、激活函数的性质非线性：当激活函数为非线性的时候，可以证明两层的神经网络可以逼近任意复杂的函数。连续可微：由于神经网络的训练是基于梯度的优化方法，数学基础是连续可微，因此选取的激活...

 一般可以通过增加神经元数目、加深网络层次来提升神经网络的学习能力，使其学到的模型更加符合实际数据的分布情况。但要注意神经网络模型不能过于复杂，要注意避免训练效率下降以及过拟合等问题。产生过拟合的根本原因在于：（1）观测值与真实值之间的误差：    训练样本=真实值+随机误差，学习时尽可能地拟合了训练样本，而不是真实值，即学到了真实规律以外的随机误差。（2）数据太少，无法反映真实分...

 一、GAN介绍生成式对抗网络GAN（Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative model）和判别模型（Discriminative model）的相互博弈学习产生相当好的输出。原始GAN理论中并不要求G和D都是神经网络，只需要是能够拟合...

近年来目标检测流行的算法主要分为两类：1、R-CNN系列的two-stage算法（R-CNN、Fast R-CNN、Faster R-CNN），需要先使用启发式方法selective search或者CNN网络RPN产生候选区域，然后在候选区域上进行分类和回归，准确度高但速度慢。2、YOLO，SSD这类one-stage算法，仅仅使用一个CNN网络直接预测不同目标的类别和位置，速度快但准确性要低一

 径向基函数（Radial Basis Function）神经网络是具有唯一最佳逼近（克服局部极小值问题）、训练简洁、学习收敛速度快等良好性能的前馈型神经网络，目前已证明RBFNN能够以任意精度逼近任意连续的非线性网络，被广泛用于函数逼近、语音识别、模式识别、图像处理、自动控制和故障诊断等领域。全局逼近网络：网络的一个或多个权值对任一输出都有影响。由于每次输入都要对所有权值进行修正，因此这...

 激活函数（Activation Function）一般用于神经网络的层与层之间，将上一层的输出转换之后输入到下一层。如果没有激活函数引入的非线性特性，那么神经网络就只相当于原始感知机的矩阵相乘。 一、激活函数的性质非线性：当激活函数为非线性的时候，可以证明两层的神经网络可以逼近任意复杂的函数。连续可微：由于神经网络的训练是基于梯度的优化方法，数学基础是连续可微，因此选取的激活...

 一般可以通过增加神经元数目、加深网络层次来提升神经网络的学习能力，使其学到的模型更加符合实际数据的分布情况。但要注意神经网络模型不能过于复杂，要注意避免训练效率下降以及过拟合等问题。产生过拟合的根本原因在于：（1）观测值与真实值之间的误差：    训练样本=真实值+随机误差，学习时尽可能地拟合了训练样本，而不是真实值，即学到了真实规律以外的随机误差。（2）数据太少，无法反映真实分...

 一、GAN介绍生成式对抗网络GAN（Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative model）和判别模型（Discriminative model）的相互博弈学习产生相当好的输出。原始GAN理论中并不要求G和D都是神经网络，只需要是能够拟合...

Windows环境首先安装Cygwin https://cygwin.com/install.htmlCygwin能在Windows环境下模拟UNIX/Linux环境编程，比安装虚拟机节省储存空间。下载-选联网安装-下载网址选阿里云镜像 http://mirrors.aliyun.com/cygwin - 安装binutils, gcc, gcc-mingw, gdb, make, per...