匹配数据的图像转换Pix2Pix在图像到图像的转换这个领域中有很好的应用，它能够面向所有匹配图像数据集的训练和生成。匹配数据集是指在训练集中两个互相转换的领域之间有很明确的一一对应数据。比如下面的三个例子：在工程实践中研究者需要自己收集这些匹配数据，但有时同时采集两个不同领域的匹配数据是非常麻烦的，通常采用的方案是从更完整的数据中还原简单数据。有了匹配数据集的存在，深度学习领域的研究...

PyTorch中的repeat()函数可以对张量进行复制。当参数只有两个时，第一个参数表示的是复制后的列数，第二个参数表示复制后的行数。当参数有三个时，第一个参数表示的是复制后的通道数，第二个参数表示的是复制后的列数，第三个参数表示复制后的行数。接下来我们举一个例子来直观理解一下：>>> x = torch.tensor([6,7,8])>>> x.r...

一.原始GAN存在的训练崩溃问题所谓GAN的训练崩溃，指的是训练过程中，生成器和判别器存在一方压倒另一方的情况。GAN原始判别器的Loss在判别器达到最优的时候，等价于最小化生成分布与真实分布之间的JS散度，由于随机生成分布很难与真实分布有不可忽略的重叠以及JS散度突变特性，使得生成器面临梯度消失的问题；可是如果不把判别器训练到最优，那么生成器优化的目标也就失去了意义。因此需要我们小心的平衡二..

全局平均平均池化就是对最后一层卷积的特征图，每个通道求整个特征图的均值。如下图所示：然后再接一层全连接，因为全局池化后的值相当于一像素，所以最后的全连接其实就成了一个加权相加的操作。这种结构比起直接的全连接更加直观，并且泛化性能更好。如下图所示：总结：降低参数量。减少过拟合（正则化），增加泛化能力。...

一.导入相应的Modules下面的代码只是举个例子：import numpy as np # linear algebraimport pandas as pdpd.set_option("display.max_rows", 101)import osprint(os.listdir("../input"))import cv2import jsonimport matplot...

原因1:梯度爆炸产生原因：学习率过大。解决方法：3. 数据归一化（减均值，除方差，或者加入normalization：BN，L2 norm等）。4. 更换参数初始化方法（对于CNN，一般用xavier或者msra的初始化方法）。5. 减小学习率，减小Batch size。6. 加入梯度截断（gradient clipping）。原因2:网络结构设计问题解决方法：加如BN层进行归一化。修改网络结构（

其中iii为每一个类别。针对类别不均衡问题，增加权重项：多标签分类时，BCE损失结合sigmoid来使用，经过classifier分类过后的输出为（batch_sizze，num_class）为每个数据的标签,标签不是one-hot的主要体现在sigmoid（output）之后进行bceloss计算的时候：sigmoid输出之后,仍然为（batch_sizze，num_class）大小的，但是是每

深度神经网络模型的训练为什么会很困难？其中一个重要的原因是深度神经网络涉及到很多层的叠加，而每一层的参数更新导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。为了训练好模型，我们需要非常谨慎地去设定学习率、初始化权重以及尽可能细致的参数更新策略。Google将这一现象总结为Internal Covariate Shift，简.

一.集成学习(Ensemble)介绍集成学习也称为模型融合(Model Ensemble)、多分类器学习(multiple Classifier System)或基于委员会的学习(Committee-Based Learning)。是一种有效提升机器学习效果的方法。不同于传统的机器学习方法在训练集上构建一个模型，集成学习通过构建并融合多个模型来完成学习任务。首先我们通过下图的一个例子来介绍集...

首先，最小二乘法适用于有限样本。而最小均方误差适用于无限样本。通常我们所说的狭义的最小二乘，是指在线性回归下采用最下二乘准则，进行线性拟合参数求解。由于是基于线性回归，所以可以很容器求出全局最优解，而不是像梯度下降那样一点点的迭代优化最后达到极值点。而广义的最小二乘，本质上是一种目标函数。比如说我们在优化深度神经网络模型时，也可以用最小二乘去衡量某一拟合结果相对于ground truth的偏差程度