google2015年的论文，首次提出批正则方法，优化深度神经元网络的学习摘要在深度网络的训练中，每一层网络的输入都会因为前一层网络参数的变化导致其分布发生改变，这就要求我们必须使用一个很小的学习率和对参数很好的初始化，但是这么做会让训练过程变得慢而且复杂。作者把这种现象称作Internal Covariate Shift。通过Batch Normalization可以很好的解决这个问

本程序环境：tensorflow+python，用到的库：numpy，os，Image，random。基于论文：《Deep Transfer Network: Unsupervised Domain Adaptation》前面我已经对这篇文章做过简单的导读：首先我们要用到两个数据集usps和mnist，它们都是用来完成手写数字识别任务的，以下提供两个数据集的下载链接mnist数

一、什么是covariate shift？在论文中经常碰到covariate shift这个词，网上相关的中文解释比较少你可能会在介绍深度学习Batch Normalization方法的论文到中看到covariate shift这个词，并且所有看过这篇论文的或者实际做过工程的人，都知道BN这种归一化手段很好用，可以避免covariate shift那么covariate shift

一、Domain adaptation在开始介绍之前，首先我们需要知道Domain adaptation的概念。Domain adaptation，我在标题上把它称之为域适应，但是在文中我没有再翻译它，而是保持它的英文原意，这也有助于我们更好的理解它的概念。Domain adaptation的目标是在某一个训练集上训练的模型，可以应用到另一个相关但不相同的测试集上。对这个问题列

论文下载Going deeper with convolutionsgoogle在ILSVRC14比赛中获得冠军的一个模型。GoogLeNet, 一个22层的深度网络。GoogLeNet模型的参数量只是两年前该项赛事的冠军Krizhevsky参数量的1/12，大大降低了网络的复杂度，甚至还达到了比Krizhevsky更高的精度。此篇论文讨论的就是如何有效的控制computa

FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)（2016，Djork-Arn´e Clevert, Thomas Unterthiner & Sepp Hochreiter）论文下载一、简介ELU的表达式：四种激活函数（ELU，LReLU，ReLU，SReLU）比较图：

论文下载Going deeper with convolutionsgoogle在ILSVRC14比赛中获得冠军的一个模型。GoogLeNet, 一个22层的深度网络。GoogLeNet模型的参数量只是两年前该项赛事的冠军Krizhevsky参数量的1/12，大大降低了网络的复杂度，甚至还达到了比Krizhevsky更高的精度。此篇论文讨论的就是如何有效的控制computa

一、Domain adaptation在开始介绍之前，首先我们需要知道Domain adaptation的概念。Domain adaptation，我在标题上把它称之为域适应，但是在文中我没有再翻译它，而是保持它的英文原意，这也有助于我们更好的理解它的概念。Domain adaptation的目标是在某一个训练集上训练的模型，可以应用到另一个相关但不相同的测试集上。对这个问题列

FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)（2016，Djork-Arn´e Clevert, Thomas Unterthiner & Sepp Hochreiter）论文下载一、简介ELU的表达式：四种激活函数（ELU，LReLU，ReLU，SReLU）比较图：

论文下载Going deeper with convolutionsgoogle在ILSVRC14比赛中获得冠军的一个模型。GoogLeNet, 一个22层的深度网络。GoogLeNet模型的参数量只是两年前该项赛事的冠军Krizhevsky参数量的1/12，大大降低了网络的复杂度，甚至还达到了比Krizhevsky更高的精度。此篇论文讨论的就是如何有效的控制computa