1. 显存的占用当在GPU上跑一个模型时，显存的占用主要有两部分：模型的输出（特征图、特征图的梯度）、模型的参数（权重矩阵、偏置值、梯度）1. 模型参数的显存占用：（例如：卷积核的参数、BN层、全连接层的参数等（池化层没有参数））2. 如果是在训练阶段，需要反向传播更新参数值，所以每个参数都需要存储梯度。所以模型参数的显存占用，与采用的优化器有关。1）如果使...

https://blog.csdn.net/weixin_41847115/article/details/84644305resnet的输入size是224一、图像的按比例缩放将图像较短的那条边按比例随机缩放到【256】，长边随着短边按比例缩放二、图像的裁剪随机对图像进行裁剪【224,224】，如果采用随机裁剪可以得到多张图片，可以选择上下左右加中间再镜像大概得到十张左右...

pytorch文档中的说明:用法实例:import torchivision.transformsimport PIL.Image as Imageimport torchvision.transforms#读入图片image=Image.open("/home/alisa/PycharmProjects/attack/target_attack/1/train_targ...

原文：https://blog.csdn.net/tsyccnh/article/details/79163834（有修改）信息论交叉熵是信息论中的一个概念下面将介绍信息量、熵、相对熵（KL散度）、交叉熵这四个概念。1. 信息量假设是一个离散型随机变量，其取值集合为，其概率分布函数,则定义事件的信息量为：图像如下：横轴：; 纵轴：【（横轴...

参考链接:https://www.cnblogs.com/hellcat/p/8439055.html函数简介torch.autograd.Variable是Autograd的核心类，它封装了Tensor，并整合了反向传播的相关实现(tensor变成variable之后才能进行反向传播求梯度?用变量.backward()进行反向传播之后,var.grad中保存了var的梯度)x = ...

参考链接:https://www.cnblogs.com/hellcat/p/8439055.html函数简介torch.autograd.Variable是Autograd的核心类，它封装了Tensor，并整合了反向传播的相关实现(tensor变成variable之后才能进行反向传播求梯度?用变量.backward()进行反向传播之后,var.grad中保存了var的梯度)x = ...

0. 无偏估计简介估计是用样本统计量（可以理解为随机抽样）来估计总体参数时的一种无偏推断。无偏估计的要求就是：估计出来的参数的数学期望等于被估计参数的真实值。（如：是总体参数的估计量，而是被估计参数）（无偏性是一种评价估计量优良性的准则）无偏估计的意义：在多次重复下，估计量的平均值 ≈ 被估计参数真值所以呢,可以看出：估计值也是一个变量，因为是随机的嘛。 真实值谁也不知道啊（因...

正态分布X ~：随机变量X的取值和其对应的概率值P(X = ) 满足正态分布（高斯函数）很多随机现象可以用正态分布描述或者近似描述某些概率分布可以用正态分布近似计算1.概率密度函数：2.正态分布函数曲线的性质：3.正态分布的概率分布函数概率分布函数是正态分布曲线的定积分，公式为：正态分布曲线与x轴围成的面积是1(积分区间是负无穷到正无穷)的值代表...