VGG-16，输入层214*214*3，经过两层相同的卷积，卷积filter为3*3，stride为1，filter数为64，然后经过一层pooling。接着按照相同的方式，让宽和高越来越小，而通道数逐倍增加，直到512。最后用两层相同全连接加一个softmax。VGG-16的性能与VGG-19差不多，所以基本用VGG-16

alexnet、vgg19_bn、ResNet-110、PreResNet-110、WRN-28-10 (drop 0.3)、ResNeXt-29, 8x64、ResNeXt-29, 16x64、DenseNet-BC (L=100, k=12)、DenseNet-BC (L=190, k=40)等模型性能对比：CIFARTop1 error rate on the CIFAR-10/10...

双向RNN结构图

paper：Wasserstein Distance Guided Representation Learning for Domain AdaptationShen J, Qu Y, Zhang W, et al. Wasserstein Distance Guided Representation Learning for Domain Adaptation[J]. AAAI-2017....

torch.cuda.is_available()cuda是否可用；torch.cuda.device_count()返回gpu数量；torch.cuda.get_device_name(0)返回gpu名字，设备索引默认从0开始；torch.cuda.current_device()返回当前设备索引；

GeLU，(Gaussian Error Linerar Units)，高斯误差线性单元1 Gelu数学原理G(x) = xΦ(X<=x)其中，Φ(X)为正态分布。累积分布函数是指随机变量XX小于或等于xx的概率，用概率密度函数表示为：正态分布的累积分布函数可以用“误差函数”erf 表示：其中误差函数的表达式为：2 代码实现：def gelu...

答案是不需要。碰到一个坑，之前用pytorch实现自己的网络时，如果使用CrossEntropyLoss我总是将网路输出经softmax激活层后再计算交叉熵损失。刚刚查文档时发现自己大错特错了。考虑样本空间的类集合为{0,1,2}，网络最后一层有3个神经元（每个神经元激活值代表对不同类的响应强度），某个样本送入网络后的输出记为net_out： [1,2,3]， 该样本的真...

最近遇到一个问题，发下gpu训练的模型在cpu下不能跑，很难受。结果发现原来是自己使用了DataParallel的问题，我保存的是整个模型。model=DataParalle(model)torch.save(‘xx.pkl’,model)然后把模型copy到自己电脑上用cpu跑model=torch.load(‘xx.pkl’)#此处报错了。。。。原因是cpu环境不能直接导入gpu训练的Data

语法、文法、句法、词法概念的区别：语法与文法表示同一概念，不同角度诠释而言。句法，描述句子的结构，词之间的依赖关系。词法，研究词自身的结构与性质。...

GeLU，(Gaussian Error Linerar Units)，高斯误差线性单元1 Gelu数学原理G(x) = xΦ(X<=x)其中，Φ(X)为正态分布。累积分布函数是指随机变量XX小于或等于xx的概率，用概率密度函数表示为：正态分布的累积分布函数可以用“误差函数”erf 表示：其中误差函数的表达式为：2 代码实现：def gelu...