torch.nn.AdaptiveAvgPool2dtorch.nn.AdaptiveAvgPool2d(output_size)output_size：可以为tuple类型(H, W)，也可以为一个数字H表示(H, H)，H,W可以为int或者None类型，如果是None默认与输入相同大小二维平均自适应池化，只需要给出输出的参数就可以自动寻找相应的kernal size以及strideAppli

PyTorch并行计算一、为什么要并行计算？二、基本概念三、DistributedDataParallel的使用1. multiprocessing2. distributed二者区别一些BUG和问题nn.parallel.DistributedDataParallel这部分是nn.DataParallel的后续，想看nn.DataParallel的点击这里为什么要用nn.parallel.Dis

本篇博客主要讲解BatchNorm函数的执行过程，需要读者有一定的批归一化的基础，本文例子通俗易懂，如果没有基础也可以阅读在PyTorch中BatchNorm有三个函数，这里主要讲解前两个，后面的就很容易理解，首先要明白批归一化是做什么的：BatchNorm在深度网络中用来加速神经网络的训练，能够加速收敛并且可以使用较大的学习率，同时归一化还有一定的正则作用一、torch.nn.BatchNorm

LayerNorm在transformer中一般采用LayerNorm，LayerNorm也是归一化的一种方法，与BatchNorm不同的是它是对每单个batch进行的归一化，而batchnorm是对所有batch一起进行归一化的y=x−E(x)Var(x)+ϵ∗γ+βy = \frac{x-E(x)}{\sqrt{Var(x)+\epsilon}}*\gamma+\betay=Var(x)+ϵ​

之前介绍过visdom模块，visdom模块不能将网络结构可视化，而tensorboard模块可以，因此这里学习了tensorboard模块，这里是在pytorch上使用tensorboard的帮助文档，本文依据文档进行改编，官方github地址：https://github.com/lanpa/tensorboardXtensorboard可视化一共分为四步tensorboard安装创建writ

这是网络的原因，目前没有直接的解决方法，但是有间接的解决方法GitHub讨论：wandb官网解决方案：wandbGitHub上貌似没有很好的解决方法，官网给出了两个解决方案。进入上述链接，然后搜索以下关键字How do I deal with network issues?1. SSL certificate解决SSL certificate，我没有管理员权限，无法更改，而且更改完之后可能依然会报

在有些任务中，需要在原数据集上加入噪声，下面程序演示了将path中的图片加上高斯噪声然后保存到path2中通过skimage-lib给图片加上高斯噪声import matplotlib.pyplot as pltfrom skimage import utilfrom skimage import ioimport numpy as npimport ospath = "/data4/wangyh

Dropouttorch.nn.Dropout(p=0.5, inplace=False)p – probability of an element to be zeroed. Default: 0.5inplace – If set to True, will do this operation in-place. Default: False训练过程中以概率P随机的将参数置0，其中P为置0的概

文章目录PyTorch并行计算1. 官网实例2. 使用方法3. 运行过程4. 源代码解读PyTorch并行计算nn.DataParallel1. 官网实例PyTorch官网的例子:DATA PARALLELISMPyTorch官网的手册:torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)2. 使用方法具

本文目录argparse模块一、基本用法二、几个常用选项1. 可选参数（--）与默认值（default）2. actionargparse模块argparse模块是python的一个命令行解析包，可以直接让我们在命令行向程序中传入参数和修改参数，argparse模块内置于python中，不需要另外安装试想在一个project中，我们有5个参数（p1，p2，p3，p4，p5），有两个py文件，其中p