作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120606523

目录

第1章 torch.nn概述

1.1 torch.nn简介与功能

第2章 torch.nn的组成与子模块

2.1 获取神经网络的模型参数

2.2 主要的容器

2.3 线性层

2.4 非线性激活函数-1

2.5 非线性激活函数 -2 

2.6 归一化处理

2.7 各种损失函数

2.8 CNN卷积层

2.9 pooling层

2.10 填充层

2.11 RNN网络层

2.12 Dropout层定义

2.13 Sparse layers

2.14 距离功能

2.15 可视化层

2.16 并行数据层

2.17 各种工具

第1章 torch.nn概述

1.1 torch.nn简介与功能

nn是Neural Network的简称。

torch.nn模块是PyTorch提供的，帮助程序员方便（1）创建神经网络和（2）训练神经网络而提供的模块。主要功能包括：

  • 创建神经网络
  • 训练神经网络

第2章 torch.nn的组成与子模块

2.1 获取神经网络的模型参数

1) torch.nn.Parameter获取模型参数                                                                               

2.2 主要的容器

Containers
1)torch.nn.Module它是所有神经网络模块的基类。
2)torch.nn.Sequential

它是一个顺序容器,

其中模块的添加顺序与在构造函数中传递模块时的顺序相同。

3)torch.nn.ModuleList这会将子模块保存在列表中。
4)torch.nn.ModuleDict这会将子模块保存在目录中。
5)torch.nn.ParameterList这会将参数保存在列表中。
6)torch.nn.parameterDict这会将参数保存在目录中。

2.3 线性层

线性层
1)PyTorch PlaceHolder它是一个占位符身份运算符, 对参数不敏感。
2)torch.nn.Linear它用于对输入数据进行线性变换：y = xAT + b
3)torch.nn.Bilinear它用于对输入数据进行双线性变换：y = x1 Ax2 + b

2.4 非线性激活函数-1

非线性激活(加权和, 非线性)
1)torch.nn.ELU它将用于应用按元素的函数：ELU(x)= max(0, x)+ min(0, α*(exp(x)-1))
2)torch.nn.Hardshrink它将用于应用硬收缩函数逐元素函数：
3)torch.nn.LeakyReLU它将用于应用按元素的函数：LeakyReLu(x)= max(0, x)+ negative_slope * min(0, x)
4)torch.nn.LogSigmoid它将用于应用逐元素函数：
5)torch.nn.MultiheadAttention它用于允许模型关注来自不同表示子空间的信息
6)torch.nn.PReLU它将用于应用按元素的函数：PReLU(x)= max(0, x)+ a * min(0, x)
7)torch.nn.ReLU它将按元素应用于整流线性单位函数：ReLU(x)= max(0, x)
8)torch.nn.ReLU6它将用于应用按元素的函数：ReLU6(x)= min(max(0, x), 6)
9)torch.nn.RReLU如本文所述, 它将用于逐元素地应用随机泄漏整流线性单位函数：
10)torch.nn.SELU它将按以下方式应用按元素的函数：SELU(x)= scale *(max(0, x)+ min(0, a *(exp(x)-1)))这里α= 1.6732632423543772772848170429916717和scale = 1.0507009873554804934193193349852946。
11)PyTorch它将按以下方式应用按元素的功能：
12)PyTorch它将按以下方式应用按元素的功能：
13)torch.nn.Softplus它将按以下方式应用按元素的功能：
14)torch.nn.Softshrink它将按元素应用软收缩功能, 如下所示：
15)torch.nn.Softsign它将按以下方式应用按元素的功能：
16)torch.nn.Tanh它将按以下方式应用按元素的功能：
17)torch.nn.Tanhshrink它将按以下方式应用按元素的函数：Tanhshrink(x)= x-Tanh(x)
18)torch.nn.Threshold它将用于阈值输入张量的每个元素。阈值定义为：

2.5 非线性激活函数 -2 

非线性激活(其他)
1)torch.nn.Softmin它用于将softmin函数应用于n维输入张量以重新缩放它们。之后, n维输出Tensor的元素位于0、1的范围内, 且总和为1。Softmin定义为：
2)torch.nn.Softmax它用于将softmax函数应用于n维输入张量以重新缩放它们。之后, n维输出Tensor的元素位于0、1的范围内, 且总和为1。Softmax定义为：
3)torch.nn.Softmax2d它用于将SoftMax应用于要素上的每个空间位置。
4)torch.nn.LogSoftmax它用于将LogSoftmax函数应用于n维输入张量。 LofSoftmax函数可以定义为：
5)torch.nn.AdaptiveLogSoftmaxWithLoss这是训练具有较大输出空间的模型的策略。标签分布高度不平衡时非常有效

2.6 归一化处理

归一化层
1)torch.nn.BatchNorm1d它用于对2D或3D输入应用批量归一化。
2)torch.nn.BatchNorm2d它用于在4D上应用批量归一化。
3)torch.nn.BatchNorm3d它用于对5D输入应用批量归一化。
4)torch.nn.GroupNorm它用于在最小输入批次上应用组归一化。
5)torch.nn.SyncBatchNorm它用于对n维输入应用批量归一化。
6)torch.nn.InstanceNorm1d它用于在3D输入上应用实例规范化。
7)torch.nn.InstanceNorm2d它用于在4D输入上应用实例规范化。
8)torch.nn.InstanceNorm3d它用于在5D输入上应用实例规范化。
9)torch.nn.LayerNorm它用于在最小输入批次上应用层归一化。
10)torch.nn.LocalResponseNorm它用于对由多个输入平面组成的输入信号进行局部响应归一化, 其中通道占据第二维。

2.7 各种损失函数

Loss function
1)torch.nn.L1Loss它用于衡量输入x和目标y中每个元素之间的平均绝对误差的标准。未减少的损失可描述为：l(x, y)= L = {l1, …, ln}, ln = | xn-yn |, 其中N是批次大小。
2)torch.nn.MSELoss它用于衡量输入x和目标y中每个元素之间的均方误差的标准。未减少的损失可描述为：l(x, y)= L = {l1, …, ln}, ln =(xn-yn)2, 其中N是批次大小。
3)torch.nn.CrossEntropyLoss此条件将nn.LogSoftmax()和nn.NLLLoss()组合在一个类中。当我们训练C类的分类问题时, 这将很有帮助。
4)torch.nn.CTCLoss连接主义者的时间分类损失计算连续时间序列和目标序列之间的损失。
5)torch.nn.NLLLoss负对数似然损失用于训练C类的分类问题。
6)torch.nn.PoissonNLLLoss目标的Poisson分布为负的对数似然损失-目标(Posson(input)loss(input, target)= input-target * log(target！))
7)torch.nn.KLDivLoss这对于连续分布是有用的距离度量, 并且在我们对连续输出分布的空间进行直接回归时也很有用。
8)torch.nn.BCELoss它用于创建衡量目标和输出之间的二进制交叉熵的标准。未减少的损失可描述为：l(x, y)= L = {l1, …, ln}, ln = -wn [yn * logxn +(1-yn)* log(1-xn)], 其中N是批次大小。
9)torch.nn.BCEWithLogitsLoss它在一个类别中将Sigmoid层和BCELoss结合在一起。通过将操作合并到一层, 我们可以利用log-sum-exp技巧来实现数值稳定性。
10)torch.nn.MarginRankingLoss它创建一个标准来测量给定输入x1, x2, 两个1D迷你批量张量和包含1或-1的标签1D迷你批量张量y的损耗。迷你批次中每个样本的损失函数如下：loss(x, y)= max(0, -y *(x1-x2)+ margin
11)torch.nn.HingeEmbeddingLossHingeEmbeddingLoss度量给定输入张量x和包含1或-1的标签张量y的损失。它用于测量两个输入是否相似或不相似。损失函数定义为：
12)torch.nn.MultiLabelMarginLoss它用于创建优化输入x和输出y之间的多类多分类铰链损耗的标准。
13)torch.nn.SmoothL1Loss它用于创建一个标准, 如果绝对逐项误差低于1, 则使用平方项, 否则使用L1项。也称为胡贝尔损耗：
14)torch.nn.SoftMarginLoss它用于创建优化输入张量x和目标张量y之间(包含1或-1)的两类分类逻辑损失的标准。
15)torch.nn.MultiLabelSoftMarginLoss它用于创建一个标准, 该标准基于输入x与大小(N, C)的目标y之间的最大熵来优化多标签对所有损失。
16)torch.nn.CosineEmbeddingLoss它用于创建一个标准, 该标准测量给定输入张量x1, x2和张量标签y的值为1或-1的损失。它用于使用余弦距离来测量两个输入是相似还是相异。
17)torch.nn.MultiMarginLoss它用于创建优化输入x和输出y之间的多类分类铰链损耗的标准。
18)torch.nn.TripletMarginLoss它用于创建衡量给定输入张量x1, x2, x3和值大于0的余量的三重态损失的标准。它用于衡量样本之间的相对相似性。三元组由锚点, 正例和负例组成。 L(a, p, n)= max {d(ai, pi)-d(a​​i, ni)+ margin, 0}

2.8 CNN卷积层

Convolution layers
1)torch.nn.Conv1d该软件包将用于对由多个输入平面组成的输入信号进行一维卷积。
2)torch.nn.Conv2d该软件包将用于在由多个输入平面组成的输入信号上应用2D卷积。
3)torch.nn.Conv3d该软件包将用于在由多个输入平面组成的输入信号上应用3D卷积。
4)torch.nn.ConvTranspose1d该软件包将用于在由多个输入平面组成的输入图像上应用一维转置卷积算符。
5)torch.nn.ConvTranspose2d该软件包将用于在由多个输入平面组成的输入图像上应用2D转置卷积运算符。
6)torch.nn.ConvTranspose3d该软件包将用于在由多个输入平面组成的输入图像上应用3D转置卷积运算符。
7)torch.nn。展开它用于从成批的输入张量中提取滑动局部块。
8)PyTorch折叠它用于将一系列滑动局部块组合成一个大的包含张量。

2.9 pooling层

Pooling layers
1)torch.nn.MaxPool1d它用于在由多个输入平面组成的输入信号上应用一维最大池。
2)torch.nn.MaxPool2d它用于在由多个输入平面组成的输入信号上应用2D max池。
3)torch.nn.MaxPool3d它用于在由多个输入平面组成的输入信号上应用3D max池。
4)torch.nn.MaxUnpool1d它用于计算MaxPool1d的局部逆。
5)torch.nn.MaxUnpool2d它用于计算MaxPool2d的局部逆。
6)torch.nn.MaxUnpool3d它用于计算MaxPool3d的局部逆。
7)torch.nn.AvgPool1d它用于在由多个输入平面组成的输入信号上应用一维平均池。
8)torch.nn.AvgPool2d它用于在由多个输入平面组成的输入信号上应用2D平均池。
9)torch.nn.AvgPool3d它用于在由多个输入平面组成的输入信号上应用3D平均池。
10)torch.nn.FractionalMaxPool2d它用于在由多个输入平面组成的输入信号上应用2D分数最大池化。
11)torch.nn.LPPool1d它用于在由多个输入平面组成的输入信号上应用一维功率平均池。
12)torch.nn.LPPool2d它用于在由多个输入平面组成的输入信号上应用2D功率平均池。
13)torch.nn.AdavtiveMaxPool1d它用于在由多个输入平面组成的输入信号上应用一维自适应最大池化。
14)torch.nn.AdavtiveMaxPool2d它用于在由多个输入平面组成的输入信号上应用2D自适应最大池化。
15)torch.nn.AdavtiveMaxPool3d它用于在由多个输入平面组成的输入信号上应用3D自适应最大池化。
16)torch.nn.AdavtiveAvgPool1d它用于在由多个输入平面组成的输入信号上应用一维自适应平均池。
17)torch.nn.AdavtiveAvgPool2d它用于在由多个输入平面组成的输入信号上应用2D自适应平均池。
18)torch.nn.AdavtiveAvgPool3d它用于在由多个输入平面组成的输入信号上应用3D自适应平均池。

2.10 填充层

填充层
1)torch.nn.ReflectionPad1d它将使用输入边界的反射填充输入张量。
2)torch.nn.ReflactionPad2d它将使用输入边界的反射来填充输入张量。
3)torch.nn.ReplicationPad1它将使用输入边界的复制来填充输入张量。
4)torch.nn.ReplicationPad2d它将使用输入边界的复制来填充输入张量。
5)torch.nn.ReplicationPad3d它将使用输入边界的复制来填充输入张量。
6)torch.nn.ZeroPad2d它将用零填充输入张量边界。
7)torch.nn.ConstantPad1d它将用恒定值填充输入张量边界。
8)torch.nn.ConstantPad2d它将用恒定值填充输入张量边界。
9)torch.nn.ConstantPad3d它将用恒定值填充输入张量边界。

2.11 RNN网络层

Recurrent layers
1)torch.nn.RNN它用于将具有tanh或ReLU非线性的多层Elman RNN应用于输入序列。每一层为输入序列中的每个元素计算以下函数：ht = tanh(Wih xt + bih + Whh tt-1 + bhh)
2)Torch.nn.LSTM它用于将多层长期短期记忆(LSTM)RNN应用于输入序列。每一层为输入序列中的每个元素计算以下功能：
3)GNUPyTorch它用于将多层门控循环单元(GRU)RNN应用于输入序列。每一层为输入序列中的每个元素计算以下功能：
4)torch.nn.RNNCell它用于将具有tanh或ReLU非线性的Elman RNN单元应用于输入序列。每一层为输入序列中的每个元素计算以下函数：h’= tanh(Wih x + bih + Whh h + bhh)使用ReLU代替tanh
5)torch.nn.LSTMCell它用于将长短期记忆(LSTM)单元应用于输入序列。每一层为输入序列中的每个元素计算以下函数：其中σ是S型函数, 而*是Hadamard乘积。
6)torch.nn.GRUCell它用于将门控循环单元(GRU)单元应用于输入序列。每一层为输入序列中的每个元素计算以下功能：

2.12 Dropout层定义

11.Dropout layers
1)torch.nn.Dropout它用于调节和预防神经元的共适应。培训过程中的一个因素会缩放输出。这意味着模块将在评估期间计算身份函数。
2)torch.nn.Dropout2d如果要素图中的相邻像素相关, 则torch.nn.Dropout不会使激活规则化, 并且会降低有效学习率。在这种情况下, torch.nn.Dropout2d()用于促进要素图之间的独立性。
3)torch.nn.Dropout3d如果要素图中的相邻像素相关, 则torch.nn.Dropout不会使激活规则化, 并且会降低有效学习率。在这种情况下, torch.nn.Dropout2d()用于促进要素图之间的独立性。
4)torch.nn.AlphaDropout它用于在输入上应用Alpha Dropout。 Alpha Dropout是一种Dropout, 可以保持自规范化属性。

2.13 Sparse layers

12.Sparse layers
1)torch.nn。嵌入它用于存储单词嵌入, 并使用索引检索它们。模块的输入是索引列表, 输出是相应的词嵌入。
2)torch.nn.EmbeddingBag它用于计算嵌入的”袋子”的总和或平均值, 而无需实例化中间嵌入。

2.14 距离功能

距离功能
1)torch.nn.Cosine相似度它将返回x1和x2之间的余弦相似度(沿dim计算)。
2)torch.nn.PairwiseDistance它使用p范数计算向量v1, v2之间的成批成对距离：

2.15 可视化层

Vision layers
1)torch.nn.PixelShuffle用于将形状为(*, C×r2, H, W)的张量的元素重新排列为形状为(*, C, H×r, W, r)的张量的元素
2)torch.nn.Upsample它用于对给定的多通道1D, 2D或3D数据进行升采样。
3)torch.nn.upsamplingNearest2d它用于对由多个输入通道组成的输入信号进行2D最近邻居上采样。
4)torch.nn.UpsamplingBilinear2d用于将二维双线性上采样应用于由多个输入通道组成的输入信号。

2.16 并行数据层

16.DataParallel层(多GPU, 分布式)
1)torch.nn.DataParallel它用于在模块级别实现数据并行性。
2)torch.nn.DistributedDataParallel它用于实现分布式数据并行性, 它基于模块级别的torch.distributed包。
3)torch.nn.DistributedDataParallelCPU它用于在模块级别为CPU实现分布式数据并行性。

2.17 各种工具

Utilities
1)torch.nn.clip_grad_norm_它用于裁剪可迭代参数的梯度范数。
2)torch.nn.clip_grad_value_用于将可迭代参数的梯度范数裁剪为指定值。
3)torch.nn.parameters_to_vector用于将参数转换为一个向量。
4)torch.nn.vector_to_parameters它用于将一个向量转换为参数。
5)torch.nn.weight_norm它用于对给定模块中的参数应用权重归一化。
6)torch.nn.remove_weight_norm它用于删除模块的权重归一化和重新参数化。
7)torch.nn.spectral_norm它用于将频谱归一化应用于给定模块中的参数。
8)torch.nn.PackedSequence它将用于保存打包序列的数据和batch_size的列表。
9)torch.nn.pack_padded_sequence它用于打包包含可变长度填充序列的Tensor。
10)torch.nn.pad_packed_sequence它用于填充打包的可变长度序列批次。
11)torch.nn.pad_sequence它用于填充具有填充值的可变长度张量列表。
12)torch.nn.pack_sequence它用于打包可变长度张量的列表
13)torch.nn.remove_spectral_norm它用于删除模块的频谱归一化和重新参数化。

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120606523

# pytorch # 神经网络 # 深度学习
Logo
向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

avatar 云原生

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

avatar 云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

avatar 云原生