目录前言背景前言原论文地址： https://arxiv.org/abs/1905.11946.背景从2012年AlexNet网络的提出开始，卷积神经网络在计算机视觉领域已经发展了9年了。在这过程中先后提出了很多的网络模型，LeNet->AlexNet->VGG->GoogleNet->ResNet->SENet…，这些网络有一个共同点，那就是它们都是一些手工设计的网

Kaggle比赛：宠物可爱度打分

pkg_resources用于查找, 自省, 激活和使用已安装的Python发行版常用的函数介绍1、pkg_resources.require(env=None, installer=None)该函数负责返回对应包所需的所有依赖包如：import pkg_resourcespkg_resources.require('torch>=0.8.1')输出：[torch 1.7.0+cpu (d:

目录前言0、ReLU、Leaky ReLU、PReLU、RReLU1、Swish/SiLU2、Mish3、FReLU4、AconC、meta-AconC5、DyReLU前言链接: 【YOLOV5-5.0 源码讲解】整体项目文件导航.这个函数是yolov5做的一些关于激活函数改进的实验，且都是近年来比较火的也是效果比较好的一些激活函数。大家可以尽情的尝试放在自己的数据集或者模型上试试效果。使用起来也

目录前言一、背景二、Mish三、self-regularization、smooth四、Mish Properties五、论文实验结果六、Pytorch实现Reference前言论文地址：链接: https://arxiv.org/pdf/1908.08681.pdf.源码地址：链接: https://github.com/digantamisra98/Mish.贡献：提出了一种新型的自正则化的非

convert.pyimport torchfrom models.models import Darknet, load_darknet_weightsdevice = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")cfg = 'cfg/yolov4.cfg'weights = 'weights/yolov4.weig

目录前言一、背景或动机二、Dynamic ReLU2.1、定义Dynamic ReLU2.2、实现超函数 θ(x)\theta(x)θ(x)2.3、Dynamic ReLU的三个版本三、论文实验结果四、PyTorch实现Reference前言论文地址： https://arxiv.org/pdf/2003.10027.pdf.源码地址： https://github.com/Islanna/Dyn

一、DropOutDropout是2012年深度学习视觉领域的开山之作paper：AlexNet《ImageNet Classification with Deep Convolutional》所提到的算法，用于提高网络的泛化能力, 防止过拟合。Dropout现在一般用于全连接层，卷积层一般不使用Dropout，而是使用BN来防止过拟合，而且卷积核还会有relu等非线性函数，降低特征直接的关联性。

一、MixUp来源：https://arxiv.org/pdf/1710.09412.pdf1.1、背景理论Mixup是MIT和FAIR在ICLR 2018上发表的文章中提到的一种数据增强算法。在介绍mixup之前，我们首先简单了解两个概念：经验风险最小化（Empirical risk minimization，ERM）和邻域风险最小化（Vicinal Risk Minimization，VRM）

目录前言一、背景二、MixConv2.1、数学描述2.2、图解2.3、设计MixConv的几个关键点三、Pytorch实现前言论文地址：https://arxiv.org/abs/1907.09595.源码： https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet/mixnet.创新： 提出MixConv（Mixe