相对于ReLU函数，SiLU函数在接近零时具有更平滑的曲线，并且由于其使用了sigmoid函数，可以使网络的输出范围在0和1之间。Leaky ReLU的优点在于可以避免出现“神经元死亡”的情况，即在训练过程中某些神经元的输出始终为0，从而导致无法更新其权重，而Leaky ReLU可以在一定程度上解决这个问题。提高模型的鲁棒性：由于FReLU对输入进行了展平操作，因此可以提高模型对输入的鲁棒性，从而

YOLOv5简介源码地址：https://github.com/ultralytics/yolov5YOLOv5算法是目前应用最广泛的目标检测算法之一，它基于深度学习技术，在卷积神经网络的基础上加入了特征金字塔网络和SPP结构等模块，从而实现了高精度和快速检测速度的平衡。基本网络结构如下：YOLOv5算法创新点：Anchor-free设计：传统目标检测算法中需要先确定物体位置并给出候选框，但yol

分类误差和检测误差在farster R-CNN当中已经介绍过了，参看前面文章。分割误差为新的东西，对于每一个ROI，mask分支定义一个K*m*2维的矩阵表示K个不同的分类对于每一个m*m的区域，对于每一个类都有一个。对于每一个像素，都是用sigmod函数进行求相对熵，得到平均相对熵误差Lmask。对于每一个ROI，如果检测得到ROI属于哪一个分类，就只使用哪一个分支的相对熵误差作为误差值进行计算

1、增加CRF、通过设置较大的dilation增加感受野、以及多尺度输入可增加模型的效果；2、所以根据上面所做的增加模型效果的实验，就诞生了DeepLab V2。

相对于ReLU函数，SiLU函数在接近零时具有更平滑的曲线，并且由于其使用了sigmoid函数，可以使网络的输出范围在0和1之间。Leaky ReLU的优点在于可以避免出现“神经元死亡”的情况，即在训练过程中某些神经元的输出始终为0，从而导致无法更新其权重，而Leaky ReLU可以在一定程度上解决这个问题。提高模型的鲁棒性：由于FReLU对输入进行了展平操作，因此可以提高模型对输入的鲁棒性，从而

YOLOv5简介源码地址：https://github.com/ultralytics/yolov5YOLOv5算法是目前应用最广泛的目标检测算法之一，它基于深度学习技术，在卷积神经网络的基础上加入了特征金字塔网络和SPP结构等模块，从而实现了高精度和快速检测速度的平衡。基本网络结构如下：YOLOv5算法创新点：Anchor-free设计：传统目标检测算法中需要先确定物体位置并给出候选框，但yol