使用多GPU对神经网络进行训练时，pytorch有相应的api将模型放到多GPU上运行。torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank])两者的区别：nn.DataParallel使用单进程控制，将模型和数据加载到多个GPU中gpus=[0,1]torch.nn.DataParallel(mo

论文地址：Fast R-CNN目录1. 已有CNN目标检测算法的对比1.1 RCNN的缺点1.2 SPPNet的缺点1.3 Fast RCNN的贡献2. Fast RCNN的介绍2.1 Fast RCNN的训练流程2.2 fune turing的介绍2.2.2 RoI pooling的介绍2.2.3 损失函数2.2.4 小批量采样2.2.5...

1. 方法介绍 工程中已经通过CMakeLists.txt编译好了可执行文件并且能够顺利运行，build下内容如图 其中demo是编译好的可执行文件，我们要查看它依赖的库的so文件，在该路径下运行命令为：ldd ./demo 终端上输出的信息，就是demo可执行文件所有依赖的so文件。我们只需要将 “=>” 后面路径下的so文件拷贝出来；某些库没有"=>"这本很少

使用多GPU对神经网络进行训练时，pytorch有相应的api将模型放到多GPU上运行。torch.nn.parallel.DistributedDataParallel(model, device_ids=[args.local_rank])两者的区别：nn.DataParallel使用单进程控制，将模型和数据加载到多个GPU中gpus=[0,1]torch.nn.DataParallel(mo

目录一 安装显卡驱动1.PPA源：2.（见cuda的安装）3.去官网下载想要版本的驱动，然后本地安装（runfile）1. 先卸载原有的驱动2.禁用nouveau驱动3.禁用X-window服务4.命令行安装驱动5.驱动测试6.调整屏幕分辩率（未遇见）二 安装CUDA一 安装显卡驱动目前，安装显卡驱动有三种方式：1.PPA源：最简便（强烈...

LoRA（低秩自适应）是一种高效的模型微调方法，其核心思想是利用低秩矩阵近似权重更新。它通过冻结预训练模型的主权重矩阵W，并引入两个低秩矩阵A（降维）和B（升维）作为旁路分支，学习任务特定的增量更新（ΔW=BA）。训练时仅优化A和B，大幅减少参数量（如仅需原参数的2%）。B初始化为零确保训练平稳开始，最终增量可合并回W实现无损推理。LoRA的设计借鉴残差思想，主路保留通用知识，旁路学习精细调整，实

本文分析了深度学习模型训练过程中的显存占用情况，重点介绍了ZeRO-3优化技术。在训练过程中，显存主要存储模型参数、梯度和优化器状态，其中优化器状态（如Adam优化器的动量、方差等）占用最大。采用混合精度训练时，还需额外存储FP32主参数副本，使得优化器状态总量可达模型参数量的3倍。动态部分包括与batch大小线性相关的激活值和临时梯度缓存。ZeRO-3技术通过将优化器状态、梯度和参数分区存储在多

截止到目前，目标检测的功能还是yolo模型落地性更强。但大模型也已经全面开花，所以也尝试下使用大模型来完成目标检测的训练，看看其效果如何，看看它在目标检测上有怎样的优势。本次选用qwen2.5-VL，（qwen2.5-VL的简单介绍）一开始使用github上阅读性强的工程训练，总觉得差些意思。于是决定自己手搓个大模型训练推理工程，emm…，预测效果也是差强人意。兜兜转转还是使用个高star的工程，

借着使用BRNET工程之际，了解下MMDetection3D框架相关的内容对于数据处理，MMDetection3D针对每种3D数据集，在代码中实现了一个类来进行数据的处理。在工程【test/test_data/test_datasets/】路径下，存放着数据读取处理的测试脚本。接下来以【test_scannet_dataset.py】为例。最核心的代码为scannet_dataset = Scan

论文地址：Multi-scale context aggregation with dilated convolutions空洞卷积（Dilated/Atrous Convolution），就是在标准的卷积里面注入空洞，以此来增加感受野的大小。1 原理的介绍1.1 空洞卷积的引入Deep CNN对于某些任务有致命的缺陷。较为明显的为pooling layer (优点：减小特征图尺寸...