摘要

本报告基于YOLO26目标检测算法,构建并训练了一个面向交通场景的车辆与行人检测系统。系统采用双类别检测架构(行人、车辆),使用包含5607张标注图像的数据集进行训练与验证。实验结果表明,模型在验证集上取得了0.944的mAP50优异成绩,其中车辆检测mAP50达到0.970,行人检测达到0.919。模型推理速度仅1.2ms/张,具备实时检测能力。混淆矩阵分析显示,行人与车辆之间存在一定程度的互相误检,但整体性能表现优秀,满足智能交通与安防监控场景的部署要求。

详细功能展示视频

https://www.bilibili.com/video/BV1TGoWBQEAW/

目录

   摘要

详细功能展示视频

https://www.bilibili.com/video/BV1TGoWBQEAW/

功能模块

1、用户管理模块

2、界面与交互模块

3、检测源管理模块

4、检测参数配置模块

5、YOLO检测核心模块

6、结果显示模块

7、结果保存模块

8、工具栏功能

9、辅助功能

10、数据校验模块

引言

背景

数据集介绍

1. 数据集构成

2. 类别定义

训练结果

核心性能指标(总体评估)​编辑

各类别详细表现

分析:

关键图表分析

1. PR 曲线​编辑

2. 混淆矩阵分析(重点)​编辑​编辑

主要问题:

3. F1-Confidence 曲线​编辑

4. 训练曲线(results.png)​编辑

Ultralytics YOLO26

概述

主要功能

详细功能展示视频


功能模块

用户登录注册:支持密码检测,密码加密。

注册

登录

✅ 图片检测:可对图片进行检测,返回检测框及类别信息。

参数实时调节(置信度和IoU阈值)

支持选择检测目标:可以选择一个或者多个类目的目标进行检测

✅ 视频检测:支持视频文件输入,检测视频中每一帧的情况。

✅ 摄像头实时检测:连接USB 摄像头,实现实时监测。

日志记录:日志标签页记录操作和错误信息,带时间戳

结果保存模块:支持图片/视频/摄像头检测结果保存

1、用户管理模块

功能 描述
用户注册 用户名、密码、确认密码、邮箱(选填)注册,密码SHA256加密存储
用户登录 用户名密码验证,自动跳转主界面
用户数据存储 JSON文件存储用户信息(密码加密、注册时间、邮箱)
登录状态 主界面显示当前登录用户名

2、界面与交互模块

功能 描述
玻璃效果界面 半透明毛玻璃背景,圆角边框,现代化视觉风格
无边框窗口 自定义标题栏,支持窗口拖动、最小化、最大化、关闭
响应式布局 主窗口三栏布局(左侧控制区、中央显示区、右侧信息区)
状态栏 显示设备信息、模型状态、当前用户、实时时间

3、检测源管理模块

功能 描述
图片检测 支持JPG/JPEG/PNG/BMP格式图片载入
视频检测 支持MP4/AVI/MOV/MKV格式视频载入
摄像头检测 实时调用摄像头(默认ID 0)进行检测
检测源切换 下拉菜单切换三种检测模式,自动更新界面状态

4、检测参数配置模块

功能 描述
置信度阈值 滑动条调节(0-100%,步长1%),实时显示当前值
IoU阈值 滑动条调节(0-100%,步长1%),实时显示当前值
类别选择 动态生成检测类别复选框,支持全选/取消全选
参数同步 参数实时同步到检测器核心

5、YOLO检测核心模块

功能 描述
模型加载 加载best.pt模型文件,自动检测GPU可用性,支持CPU/GPU切换
多模式检测 图片检测、视频检测、摄像头实时检测
检测线程 基于QThread的多线程处理,避免界面卡顿
检测结果 返回目标类别、置信度、边界框坐标
FPS计算 实时计算处理帧率
进度反馈 视频处理进度条实时更新

6、结果显示模块

功能 描述
实时画面 中央区域显示检测结果图像(带标注框)
统计信息 检测状态、目标数量、FPS、处理帧数实时更新
检测列表 右侧列表显示当前帧所有检测到的目标(类别+置信度)
日志记录 日志标签页记录操作和错误信息,带时间戳
占位显示 未选择检测源时显示系统LOGO和提示文字

7、结果保存模块

功能 描述
保存开关 复选框控制是否保存检测结果
路径选择 自定义保存路径,支持图片/视频格式自动识别
自动命名 保存文件自动添加时间戳(detection_result_20240101_120000.jpg
视频保存 支持检测结果视频录制(MP4格式)
手动保存 工具栏保存按钮可随时保存当前画面
保存反馈 保存成功弹窗提示,日志记录保存路径

8、工具栏功能

功能 描述
图片按钮 快速切换到图片检测模式并打开文件选择器
视频按钮 快速切换到视频检测模式并打开文件选择器
摄像头按钮 快速切换到摄像头检测模式
保存按钮 手动保存当前显示画面

9、辅助功能

功能 描述
错误处理 统一错误弹窗提示,日志记录错误详情
资源清理 检测停止时自动释放摄像头、视频文件、视频写入器资源
时间显示 状态栏实时显示系统时间
模型状态 状态栏显示模型加载状态和当前设备(CPU/GPU)

10、数据校验模块

功能 描述
注册验证 用户名长度≥3,密码长度≥6,密码一致性检查,邮箱格式验证
协议确认 注册前需勾选同意用户协议
文件校验 模型文件存在性检查,文件大小验证(≥6MB)
输入非空 登录/注册时必填项非空检查

引言

随着城市化进程的加速和机动车保有量的持续增长,交通环境日益复杂,行人与车辆的安全管理成为智慧城市建设中的核心议题。传统的交通监控依赖人工观察,存在效率低、易疲劳、响应慢等固有缺陷,难以满足现代交通管理的实时性与准确性需求。

近年来,深度学习技术尤其是目标检测算法的快速发展,为智能交通系统提供了全新的技术路径。YOLO系列算法凭借其端到端的回归思想、出色的检测精度与实时性能,已成为目标检测领域的基准模型之一。在车辆与行人检测这一典型任务中,YOLO能够同时输出目标类别与边界框,实现从图像输入到检测结果的快速映射。

本系统基于YOLO26框架,针对交通场景中两类关键目标——行人和车辆,构建了一套完整的检测流程。通过对4485张训练图像的标注学习,模型掌握了不同光照、角度、遮挡条件下的目标表征能力。本文将从数据构成、模型训练、性能评估等维度,系统阐述该检测系统的设计思路与实际效果,并通过精确率、召回率、mAP、混淆矩阵等多维度指标,全面评估模型的优势与局限,为后续优化和实际部署提供依据。

背景

在智能交通系统(ITS)和自动驾驶技术迅速发展的背景下,准确、实时地识别道路环境中的行人与车辆,已成为保障交通安全、提升通行效率的关键技术环节。根据世界卫生组织的统计数据,全球每年因道路交通事故造成的死亡人数超过130万,其中行人和非机动车使用者占据了相当大的比例。在城市交叉口、人行横道、学校周边等复杂区域,驾驶员对行人的识别延迟或失误往往是事故发生的直接原因。因此,构建一个高效、鲁棒的视觉检测系统,辅助甚至替代人类进行环境感知,具有重要的社会价值和现实意义。

传统的车辆与行人检测方法主要依赖于手工设计的特征,如HOG(方向梯度直方图)、SIFT(尺度不变特征变换)、Haar-like特征等,并结合支持向量机(SVM)、AdaBoost等机器学习分类器进行目标判别。这类方法虽然在特定场景下取得了一定效果,但存在明显的局限性:首先,手工特征的表征能力有限,难以应对光照变化、部分遮挡、形变、尺度变化等复杂情况;其次,特征提取与分类器训练相对独立,无法实现端到端的联合优化;再者,滑动窗口式的检测策略计算量巨大,难以满足实时性要求。

深度学习的兴起彻底改变了目标检测领域的技术格局。2012年AlexNet在ImageNet竞赛中的突破性表现,证明了深度卷积神经网络自动学习层次化特征的能力远超手工特征。随后,R-CNN系列算法(Fast R-CNN、Faster R-CNN)将目标检测问题转化为候选区域分类与回归的两阶段范式,显著提升了检测精度。然而,两阶段方法的速度瓶颈限制了其在实时场景中的应用。

数据集介绍

1. 数据集构成

本系统使用的数据集专门针对交通场景中的行人和车辆两类目标进行标注。数据集总计包含 5607张 图像,按功能划分为:

数据集类型 图像数量 用途
训练集 4485张 模型参数学习
验证集 1122张 性能评估与调优

数据集共包含 15816个 标注实例,其中:

  • 行人(person):4038个实例,分布于666张图像中

  • 车辆(car):11778个实例,分布于985张图像中

2. 类别定义

系统包含两个检测类别,对应YAML配置:

yaml

nc: 2
names: ['person', 'car']
类别名称 类别ID 检测目标描述
person 0 行人,包括站立、行走、奔跑等不同姿态的成人及儿童
car 1 车辆,涵盖轿车、SUV、卡车、公交车等常见机动车型

训练结果

核心性能指标(总体评估)

指标 数值 评价
mAP50 (all) 0.944 优秀
mAP50-95 (all) 0.791 良好
精确率 (Precision) 0.894 较高
召回率 (Recall) 0.892 较高
F1 分数(最优) 0.89 @ 0.386 置信度 平衡良好
推理速度 1.2ms/张 非常快

这些指标表明模型在检测车辆和行人方面具有很高的准确性和实用性。


各类别详细表现

类别 精确率 召回率 mAP50 mAP50-95 实例数
行人 0.871 0.852 0.919 0.722 4038
车辆 0.917 0.931 0.970 0.860 11778
分析:
  • 车辆检测:明显优于行人,mAP50 高达 0.97,召回率 0.931,精确率 0.917 → 表现卓越。

  • 行人检测:表现良好(0.919 mAP50),但略低于车辆,召回率偏低(0.852),意味着部分行人未被检出


关键图表分析

1. PR 曲线
  • 行人 AP = 0.919,车辆 AP = 0.970,整体 mAP50 = 0.944。

  • 曲线下降平缓,说明模型在不同召回率下都能保持较高精确率。

2. 混淆矩阵分析(重点)

从混淆矩阵(非归一化)看:

真实 \ 预测 行人 车辆 背景
行人 3553 367 118
车辆 311 11357 110
背景 48 25 970
主要问题:
  • 行人 → 车辆:367 个行人被误检为车辆(严重)

  • 车辆 → 行人:311 个车辆被误检为行人

  • 漏检:行人漏检 118 个,车辆漏检 110 个

  • 虚警:48+25 个背景被误检为目标

3. F1-Confidence 曲线
  • 最优 F1 = 0.89 对应置信度阈值 ≈ 0.386

  • 推荐实际使用时将置信度设置在 0.4~0.5 之间,平衡精确率与召回率

4. 训练曲线(results.png)
  • 所有 loss 曲线(box_loss, cls_loss, dfl_loss)平稳下降,无过拟合迹象

  • precision/recall/mAP 曲线稳定上升并收敛 → 训练充分

Ultralytics YOLO26

概述

Ultralytics  YOLO26 是 YOLO 系列实时对象检测器的最新演进,从头开始专为边缘和低功耗设备而设计。它引入了简化的设计,消除了不必要的复杂性,同时集成了有针对性的创新,以实现更快、更轻、更易于访问的部署。

YOLO26 的架构遵循三个核心原则:

  • 简洁性: YOLO26是一个原生的端到端模型,直接生成预测结果,无需非极大值抑制(NMS)。通过消除这一后处理步骤,推理变得更快、更轻量,并且更容易部署到实际系统中。这种突破性方法最初由清华大学的王傲在YOLOv10中开创,并在YOLO26中得到了进一步发展。
  • 部署效率: 端到端设计消除了管道的整个阶段,从而大大简化了集成,减少了延迟,并使部署在各种环境中更加稳健。
  • 训练创新:YOLO26 引入了MuSGD 优化器,它是SGD 和MUON的混合体——灵感来源于 Moonshot AI 在 LLM 训练中Kimi K2的突破。该优化器带来了增强的稳定性和更快的收敛,将语言模型中的优化进展转移到计算机视觉领域。
  • 任务特定优化:YOLO26 针对专业任务引入了有针对性的改进,包括用于 Segmentation 的语义分割损失和多尺度原型模块,用于高精度 姿势估计 的残差对数似然估计 (RLE),以及通过角度损失优化解码以解决 旋转框检测 中的边界问题。

这些创新共同提供了一个模型系列,该模型系列在小对象上实现了更高的精度,提供了无缝部署,并且在 CPU 上的运行速度提高了 43% — 使 YOLO26 成为迄今为止资源受限环境中最实用和可部署的 YOLO 模型之一。

主要功能

  • DFL 移除
    分布式焦点损失(DFL)模块虽然有效,但常常使导出复杂化并限制了硬件兼容性。YOLO26 完全移除了 DFL,简化了推理过程,并拓宽了对边缘和低功耗设备的支持。

  • 端到端无NMS推理
    与依赖NMS作为独立后处理步骤的传统检测器不同,YOLO26是原生端到端的。预测结果直接生成,减少了延迟,并使集成到生产系统更快、更轻量、更可靠。

  • ProgLoss + STAL
    改进的损失函数提高了检测精度,在小目标识别方面有显著改进,这是物联网、机器人、航空影像和其他边缘应用的关键要求。

  • MuSGD Optimizer
    一种新型混合优化器,结合了SGD和Muon。灵感来自 Moonshot AI 的Kimi K2,MuSGD 将 LLM 训练中的先进优化方法引入计算机视觉,从而实现更稳定的训练和更快的收敛。

  • CPU推理速度提升高达43%
    YOLO26专为边缘计算优化,提供显著更快的CPU推理,确保在没有GPU的设备上实现实时性能。

  • 实例分割增强
    引入语义分割损失以改善模型收敛,以及升级的原型模块,该模块利用多尺度信息以获得卓越的掩膜质量。

  • 精确姿势估计
    集​成残差对数似然估计​(RLE),以实现更精确的关键点定位,并优化解码过程以提高推理速度。

  • 优化旋转框检测解码
    引入专门的角度损失以提高方形物体的检测精度,并优化旋转框检测解码以解决边界不连续性问题。

假设您现在准备好进行标注。有几种开源工具可以帮助简化数据标注流程。以下是一些有用的开放标注工具:

Label Studio:一个灵活的工具,支持各种标注任务,并包含用于管理项目和质量控制的功能。 CVAT:一个强大的工具,支持各种标注格式和可定制的工作流程,使其适用于复杂的项目。 Labelme:一个简单易用的工具,可以快速标注带有多边形的图像,非常适合简单的任务。 LabelImg: 一款易于使用的图形图像标注工具,特别适合以 YOLO 格式创建边界框标注。

用于实例分割的 LabelMe 标注工具

这些开源工具经济实惠,并提供一系列功能来满足不同的标注需求。

界面核心代码:

详细功能展示视频

更多推荐