目标检测是计算机视觉中研究最多的问题之一，即以边界框包围图像中每个的物体。由于深度学习发展，目标检测进展飞快.其中最著名的工作就是Sermanet等人使用的overfeat框架和Girshick等人的RCNN框架。Overfeat使用两个CNN模型，以滑动窗口的方式应用于图像的多个尺度。第一个用于对窗口是否包含对象进行分类，第二个用于预测对象的真实边界框位置。最后，将密集类和位置预测与贪婪算法合并

今天从第三章：语义分割注意CNN模型开始介绍。

今天我们继续学习各个激活函数层的实现过程。

主要介绍反向误差传播法

softmax函数会将输入值正规化，即输出值的和为1之后再进行输出。手写数字的分类有10个，所以softmax层输入也有十个，输出也是10个，代表各类别的概率。

很早之前就开始学习卷积的相关知识，但一直忘记整理成笔记的形式了。最近正好也一直在学习深度学习的相关内容，一边整理一遍回顾学习的内容。我参考的书籍是这本，对于想要学习深度学习相关内容的朋友可以从这本书开始，内容比较基础且通俗易懂，很好理解。

Momentum是一种优化算法，旨在改进随机梯度下降（SGD）的性能。它通过引入“动量”概念，模拟物理中的物体运动，减少优化路径中的震荡，从而更快地收敛到最低点。Momentum的核心思想是在更新权重参数时，不仅考虑当前的梯度，还考虑之前的速度（v），通过一个衰减系数（α）控制速度的累积。这种方法使得在梯度方向一致的维度上加速，而在梯度方向频繁变化的维度上减速，从而有效减少“之”字形路径，加快收敛

今天我们继续学习各个激活函数层的实现过程。

下面我们会进入全新的一章，主要学习与学习相关的技巧。本章主要介绍神经网络学习过程的重要观点，主题涉及寻找最优权重参数的最优化方法、权重参数的初始值、超参数的设定方法等。为了应对过拟合，本章还会介绍权值衰减、Dropout等正则化方法，并进行实现。最后会介绍一些研究实验中Batch Normalization方法进行简单介绍。

现在针对YOLOv8的架构改进越来越多，今天尝试引入了Coordinate Attention注意力机制以改进对小目标物体的检测效率。