神经网络尺寸神经网络主要由输入层，隐含层，输出层组成。神经网络的尺寸，通常用神经元个数以及学习参数个数来衡量。下图选自cs231n课程笔记，描述了两个神经网络结构：神经元个数指的是隐含层以及输出层的神经元个数之和。左图中，神经元的个数为4+2=64+2=6,右图中，神经元的个数为4+4+1=94+4+1=9参数的个数：左图中权重有3∗4+4∗2=203*4+4*2=20，偏置有4+2=64+

BP神经网络反向传播反向传播是BP神经网络的特点，在之前的博客中已经粗略介绍了BP神经元以及反向传播的特点，对反向传播用较为直观图示解释。本博客将重点介绍其反向传播的传播过程。首先明确概念，反向传播就是得到整个网络的输出对每个门单元的梯度的过程。举例说明，f(x1,x2,x3,x4)=(max(x1,x2)+x3)∗x4f(x1,x2,x3,x4)=(max(x1,x2)+x3)∗...

神经网络检查神经网络的检查我们分为两部分完成：1.神经网络合理性检查2.学习过程检查合理性检查首先来介绍合理性检查，当我们完成一个神经网络时，我们往往需要逐步的检查网络是否书写正确以及是否可以正常工作。那么我们怎么开始呢？校验初始化将网络loss的正则项去掉，进行一次前向传播，输出loss，这时loss的值应该是−log（1/n）-log（1/n），其中，n为分

比如作者团队的MixGen，因为在视觉领域数据增强非常有用，但在多模态中却很少有人用，因此作者吧图片-文本对用mixgen拓展，具体的方法为，图片就是两张图片mixup，文本是把两句话连接。个人认为分析类文章和综述文章都需要有个人比较新颖的观点，需要阅读大量文章做积累，数据集的构建，也需要综合考虑多种因素，但是这个方向是耗费资源最少的。而目前的思路可以是：找一个基础模型，设计一个特殊的模块，这个模

这里要注意，github里的命令要将template改为baichuan2，lora_target改为W_pack。仿照格式，增加自己的数据集。

神经网络检查神经网络的检查我们分为两部分完成：1.神经网络合理性检查2.学习过程检查合理性检查首先来介绍合理性检查，当我们完成一个神经网络时，我们往往需要逐步的检查网络是否书写正确以及是否可以正常工作。那么我们怎么开始呢？校验初始化将网络loss的正则项去掉，进行一次前向传播，输出loss，这时loss的值应该是−log（1/n）-log（1/n），其中，n为分

比如作者团队的MixGen，因为在视觉领域数据增强非常有用，但在多模态中却很少有人用，因此作者吧图片-文本对用mixgen拓展，具体的方法为，图片就是两张图片mixup，文本是把两句话连接。个人认为分析类文章和综述文章都需要有个人比较新颖的观点，需要阅读大量文章做积累，数据集的构建，也需要综合考虑多种因素，但是这个方向是耗费资源最少的。而目前的思路可以是：找一个基础模型，设计一个特殊的模块，这个模

这里要注意，github里的命令要将template改为baichuan2，lora_target改为W_pack。仿照格式，增加自己的数据集。

只要是做过物体检测（object detection）的人，都会对这三种算法比较熟悉，起码听说过。那么这三种算法各自有什么特点呢？为什么他们不能相互取代？接下来我们将慢慢分析。在介绍具体算法之前，先来看下常用的数据集pascal voc包含20类其中，voc 07：9,963 张图片中包含了24,640个已标记物体voc 12：测试数据集没有公开，在训练和验证数据集中的1154...

比如作者团队的MixGen，因为在视觉领域数据增强非常有用，但在多模态中却很少有人用，因此作者吧图片-文本对用mixgen拓展，具体的方法为，图片就是两张图片mixup，文本是把两句话连接。个人认为分析类文章和综述文章都需要有个人比较新颖的观点，需要阅读大量文章做积累，数据集的构建，也需要综合考虑多种因素，但是这个方向是耗费资源最少的。而目前的思路可以是：找一个基础模型，设计一个特殊的模块，这个模