目  录

第1章 绪  论.......................................... 1

1.1 绪论...................................................... 1

1.2 研究意义............................................. 1

1.2.1 现实意义.................................. 1

1.2.2 理论意义.................................. 1

1.3 国内外现状......................................... 2

1.3.1 国内研究现状......................... 2

1.3.2 国外研究现状......................... 2

1.4 主要研究内容..................................... 3

第2章 关键技术介绍............................. 4

2.1 YOLOv8技术..................................... 4

2.1.1 技术架构与核心特性............. 4

2.1.2 课堂检测中的应用价值......... 4

2.2 Python语言....................................... 5

2.3 SpringBoot框架............................... 5

2.4 Vue框架.............................................. 6

2.5 MySQL数据库................................... 7

2.6 FFmpeg视频处理技术...................... 7

第3章 系统分析...................................... 8

3.1 系统构架设计..................................... 8

3.1.1 数据处理层............................. 8

3.1.2 模型训练层............................. 8

3.1.3 检测推理层............................. 8

3.2 系统设计目标..................................... 9

3.3 数据集处理....................................... 10

3.4 数据预处理....................................... 10

第4章 系统实现.................................... 12

4.1 系统运行环境要求........................... 12

4.2 系统功能模块实现........................... 12

4.2.1 模型构建............................... 12

4.2.2 训练代码............................... 15

4.3 实验结果与分析............................... 17

4.3.1 训练曲线............................... 17

4.3.2 混淆矩阵............................... 18

4.3.3 YOLOv8/v7/v6/v5对比实验 19

第5章 系统界面实现........................... 22

5.2 系统界面实现................................... 22

5.2.1 图片检测界面实现............... 22

5.2.2 视频文件检测界面实现....... 23

5.2.3 摄像头实时检测界面实现.. 23

5.2.4 结果导出界面实现............... 24

5.2.5 批量检测界面实现............... 25

第6章 结  论........................................ 26

参考文献.................................................. 27

致  谢.................................................. - 29 -

第4章 系统实现

4.1 系统运行环境要求

在Windows 11系统上进行机器学习任务，硬件与软件配置很关键。

硬件方面，处理器选至少四核的，像Intel i5或i7 ，多核利于并行计算，能加快数据处理与模型训练。内存最低16GB，32GB及以上更佳，可高效应对大规模数据集与复杂模型，防止内存溢出、运算过慢。存储建议配1TB及以上硬盘，优先选SSD，能大幅提升数据读取与模型训练速度，减少存储瓶颈。

软件层面，先装Python 3.12.4，安装时勾选“Add Python to PATH”方便命令行调用。建议用虚拟环境隔离项目依赖，避免库版本冲突。用命令“python -m venv ml - env”创建虚拟环境，“ml - env\Scripts\activate”激活。接着安装numpy、pandas、scikit - learn、matplotlib、seaborn、xgboost、lightgbm等常用机器学习库，它们是数据分析、建模、可视化的基础。

4.2 系统功能模块实现

4.2.1 模型构建

本研究使用多种工具进行课堂行为检测，先用cv2库处理图像，例如对图像进行预处理、增强以及特征提取等操作以提升模型识别课堂行为的能力，接着使用torch库进行深度学习操作来构建并训练课堂行为检测模型，特别选用ultralytics库中的YOLOv8类，依靠其预训练模型进行目标检测，由于YOLOv8模型的实时性和精确度较为优越，所以能够迅速在图像里定位课堂行为并分类，select_device函数为加速计算会自动选择最佳计算设备，优先使用GPU加速运算，从而在大规模数据处理时保证高效性，将这一技术方案组合起来就能够实现课堂行为的精准检测，进而为进一步智能监控和行为分析提供技术支持。程序代码及详细注释：

# -*- coding: utf-8 -*-

import cv2  # OpenCV库用于处理图像和视频

import torch

from QtFusion.models import Detector, HeatmapGenerator  # 导入抽象基类Detector和HeatmapGenerator

from datasets.label_name import Chinese_name  # 导入类别中文名称

from ultralytics import YOLO  # 导入YOLO类

from ultralytics.utils.torch_utils import select_device  # 用于选择处理设备

#如果有可用的CUDA设备就使用GPU，否则使用CPU

device = "cuda:0" if torch.cuda.is_available() else "cpu"

#初始化参数字典，包含了模型运行所需的基本参数

ini_params = {

    'device': device,

    'conf': 0.25,  # 置信度阈值

    'iou': 0.5,  # IOU阈值用于非极大抑制

    'classes': None,  # 不过滤任何类别

    'verbose': False

}

def count_classes(det_info, class_names):

    count_dict = {name: 0 for name in class_names}

    for info in det_info:

        class_name = info['class_name']

        if class_name in count_dict:

            count_dict[class_name] += 1

    count_list = [count_dict[name] for name in class_names]

    return count_list

定义device 字符串，通过torch.cuda.is_available() 函数检查系统是否支持CUDA的GPU。若GPU可用，则将其作为计算设备；若不可用，自动回退至CPU。设置模型参数时，确定了关键参数ini_params，包括置信度阈值conf和IOU（Intersection over Union）阈值 iou。conf 用于设置预测时的最小置信度，确保只有高置信度的检测结果被保留，而iou用于执行非极大值抑制（NMS），来避免多个重叠的框对同一目标产生重复检测，提升模型的检测精度与效率。

程序代码及详细注释：

class YOLOv8v5Detector(Detector):

    def __init__(self, params=None):

        super().__init__(params)

        self.model = None

        self.img = None

        self.names = list(Chinese_name.values())  # 类别中文名称列表

        self.params = params if params else ini_params  # 参数初始化

    def load_model(self, model_path):

        self.device = select_device(self.params['device'])

        self.model = YOLO(model_path)  # 加载模型

        # 获取并设置类别中文名称

        names_dict = self.model.names

        self.names = [Chinese_name[v] if v in Chinese_name else v for v in names_dict.values()]

        # 预热模型

        self.model(torch.zeros(1, 3, *[self.imgsz] * 2).to(self.device).

                   type_as(next(self.model.model.parameters())))

这部分代码定义了一个继承自Detector类的YOLOv8v5Detector类。此类的主要目的是封装YOLO模型的加载、预处理、预测和后处理过程。load_model函数负责加载已训练的YOLO模型并进行必要的初始化设置。

    def preprocess(self, img):

        self.img = img  # 保存原始图像

        return img  # 返回原图像作为预处理结果

    def predict(self, img):

        results = self.model(img, **ini_params)  # 对图像进行预测

        return results

    def postprocess(self, pred):

        results = []

        for res in pred[0].boxes:

            for box in res:

                class_id = int(box.cls.cpu())

                bbox = box.xyxy.cpu().squeeze().tolist()

                bbox = [int(coord) for coord in bbox]  # 将边界框坐标转换为整数

                result = {

                    "class_name": self.names[class_id],  # 类别名称

                    "bbox": bbox,  # 边界框

第5章 系统界面实现

5.1 界面设计原则

本系统界面设计遵循简洁易用与功能分层原则，以左侧导航栏为核心功能入口，清晰划分 “检测功能”“记录管理”“用户中心” 三大模块，让教师、管理员能快速定位图像检测、批量检测、用户管理等操作入口。主界面采用模块化数据面板布局，将功能区域独立呈现，既避免信息冗余，又保证各功能模块的操作独立性，适配本科用户的使用习惯，降低学习成本。

5.2 系统界面实现

5.2.1 图片检测界面实现

用户可以上传本地的视频或图像文件到系统中进行课堂行为检测。系统会分析上传的文件，识别出图像或视频中的课堂行为，并在界面上展示带有课堂行为标签和置信度的检测结果，让用户能够清晰地了解到每个场景中的课堂行为情况，如图5.2所示。

图5.2 图片检测界面

图片来源：自制

5.2.2 视频文件检测界面实现

用户可上传本地课堂视频文件至系统，界面左侧显示视频上传进度条与文件信息，右侧实时展示视频播放窗口。系统通过 FFmpeg 逐帧提取视频画面，经 YOLOv8 模型检测后，在播放画面中实时叠加行为标签（如 “写字”“小组讨论”）及置信度数值。如图 5.3 所示。

图5.3 视频文件检测界面

图片来源：自制

5.2.3 摄像头实时检测界面实现

界面顶部提供摄像头设备选择入口，连接成功后实时显示课堂画面。检测框随学生行为动态更新，同步标注 “听讲”“转头” 等行为类型，置信度低于阈值的结果以浅色框标注。右侧面板实时统计当前课堂各行为占比，以柱状图直观呈现，支持检测画面截图保存，适配实体课堂实时监控场景，如图 5.4 所示。

图5.4 摄像头实时检测界面

图片来源：自制

5.2.4 结果导出界面实现

结果导出功能允许检测结果的表格通过点击按钮导出为csv格式文件。同时，图像和视频导出功能支持将标记后的图片、视频及摄像头画面结果导出为avi格式图像文件，方便用户保存和分享检测结果，如图5.5所示。

                                                                                            

图5.5 结果导出界面

图片来源：自制

5.2.5 批量检测界面实现

批量检测区域支持选中多个图片 / 视频文件，上传后以列表形式展示处理状态（等待 / 检测中 / 完成），如图5.6所示。检测完成后，点击 “AI 分析” 按钮调用 DeepSeek、Qwen 大模型，，辅助教师把握课堂动态，如图5.7所示。

图5.6 批量检测界面

图片来源：自制

图5.7 AI建议界面

图片来源：自制