相加 add非线性相加（结合注意力机制）相乘 multiply相连 concatenate统计数据融合（normalization）参考文献1： Selective Kernel Networks2： Large Scale GAN Training for High Fidelity Natural Image Synthesis3: Toward Multimod...

利用cv2.imread()时，当出现这个错误时，请检查以下信息：是否有拼写错误是否有这个图片是否添加了后缀名是否是绝对路径是什么系统？考虑将单斜杠改成双斜杠如：image_data = cv2.imread('D:\\lab\\AgriculturalDisease_trainingset\\images\\00c5c908-fc25-4710-a109-db143da23112...

损失函数的计算首先说明本文解决的是softmax的多分类器的梯度求导，以下先给出损失函数的计算方式：这里将最终的loss分为4步进行计算，如下所示，当然，这里不解释为什么是这样的计算方式。注意到，本文并不限制训练样本的数量，训练样本的特征数，以及最后分为几类。这里x表示输入，w表示权重参数。说明：这里的x和w的下标表示x的某一行和w的某一列相乘在逐项相加得到s。然后再根据s计算每一个...

pytorch中有很多自带函数，掌握好这些函数，程序写起来当然非常有效率。在这些pytorch函数中，很多都有dim这个控制参数，但是我们很难明白这个含义是什么。本文试着总结一下：1）dim的不同值表示不同维度。特别的在dim=0表示二维中的行，dim=1在二维矩阵中表示行。广泛的来说，我们不管一个矩阵是几维的，比如一个矩阵维度如下：(d0,d1,...,dn−1)(d_0, d_1, .....

在程序中，有多种方法进行强制类型转换。本博文将介绍一个非常常用的方法：to（）方法。我们通常使用它来进行GPU和CPU的类型转换，但其实也可以用来进行torch的dtype转换。常见方法：tensor.to(‘cuda:0’)先看官网介绍：**Performs Tensor dtype and/or device conversion. A torch.dtype and torch.d...

认为参数需要满足一定条件，希望卷积层参数是正交的。如果不是正交的，计算与正交之间的距离，然后作为损失进行优化。本程序给出了orthogonal regularization的pytorch的实现，直接返回模型的损失。import torchdef orthogonal_regularization(model, device, beta=1e-4):r"""au...

本篇博文介绍pytorch中一些函数的输入问题，主要是tensor 和 tensors的区别。在pytorch中我们也有对一个数据的叠加：pytorch.stack ，这个函数可以在数据叠加的同时，扩展数据维度。比如说我们把三个数叠加到一起，可以组成一个二维的矩阵，得到的二维矩阵可以是[1, 2]，也可以是[2, 1]。pytorch.cat，这个函数是直接把两个数据连接起来，维度是不变的。...

这个方法现在被很多文章应用。本文就讲讲这个orthogonal regularization， 可以翻译成正交规范化。这个方法首先出现在这篇文章里：LCLR2017文章，2018年，也出现于BigGAN。最开始，2014年只是在初始化的时候让卷积核参数都是正交的。 而orthogonal regularization认为参数如果一直保持正交特性将会发挥作用。为什么要用正交规范化？在神经网络...

在运行torch中出现这个错误。错误内容大概就是指输入类型是CPU（torch.FloatTensor），而参数类型是GPU（torch.cuda.FloatTensor）。关于数据类型的链接：官方链接首先，请先检查是否正确使用了CUDA。通常我们这样指定使用CUDA：device = torch.device("cuda" if torch.cuda.is_available