测试基于Atlas 300I Duo的单310P3核心，实现了10路1080p视频的YOLOv8n实时检测，核心处理流程包含14个关键步骤，覆盖拉流、解码、推理、可视化到推流全链路。开发时需重点关注昇腾Device/Context管理及DVPP V2接口的使用规范，可参考官方Demo快速落地。

整套方案基于RTX 4090+TensorRTx优化，实现了8路1080p@30fps的YOLOv8n实时检测，核心瓶颈在模型推理环节；全程最大化利用GPU算力（解码、预处理、推理、后处理、可视化均在GPU完成），CPU占用率低，硬件资源利用效率高；关键优化点包括TensorRTx的CUDA核函数加速、NPP库的格式转换、LetterBox预处理减少精度损失。

在 NVIDIA 4090 上，YOLOv5s 的 TensorRTx 推理速度比原生 TensorRT 快 15-25%，FP16 精度下可达 350+ FPS（可参考该性能表现，YOLOv8 部署后性能优势一致）。TensorRTx 封装了版本适配逻辑，同一套代码可兼容 TensorRT 8.0-8.6，且提供了跨平台的 CUDA 核函数实现，无需额外修改代码即可适配不同环境。（对应 COCO

测试基于Atlas 300I Duo的单310P3核心，实现了10路1080p视频的YOLOv8n实时检测，核心处理流程包含14个关键步骤，覆盖拉流、解码、推理、可视化到推流全链路。开发时需重点关注昇腾Device/Context管理及DVPP V2接口的使用规范，可参考官方Demo快速落地。

整套方案基于RTX 4090+TensorRTx优化，实现了8路1080p@30fps的YOLOv8n实时检测，核心瓶颈在模型推理环节；全程最大化利用GPU算力（解码、预处理、推理、后处理、可视化均在GPU完成），CPU占用率低，硬件资源利用效率高；关键优化点包括TensorRTx的CUDA核函数加速、NPP库的格式转换、LetterBox预处理减少精度损失。

执行昇腾NPU命令时，建议统一加sudo，避免card id/chip id不一致的问题；若无sudo权限，需将用户加入HwHiAiUser组并重启。（基础信息）、（资源占用）、（CPU配置）。配置类命令（如CPU核数）执行后，需重启相关设备才能生效。

测试基于Atlas 300I Duo的单310P3核心，实现了10路1080p视频的YOLOv8n实时检测，核心处理流程包含14个关键步骤，覆盖拉流、解码、推理、可视化到推流全链路。开发时需重点关注昇腾Device/Context管理及DVPP V2接口的使用规范，可参考官方Demo快速落地。

处理流程：拉流 → 解码 → letterBox（等比放缩居中） → 逐帧推理 → 后处理 → NV21转RGB → 图像下载至主机 → 画框写字 → 图像上传至算力卡 → RGB转NV21 → 编码 → 推流。处理流程：拉流 → 解码 → letterBox（等比放缩居中） → 逐帧推理 → 后处理 → NV21转RGB →。测试规格：单310P3核心（Atlas 300I Duo 内置双310

视频输入为一条网络流，利用大模型对视频中的图像帧进行推理。由于大模型推理耗时长，无法对每帧都进行推理，因此采用跳帧推理的方式：当推理完一帧后，期间会跳过若干帧，然后立即推理最新的一帧。利用 rga 将 nv12 图像进行放缩和转 rgb 操作，此过程采用 letterbox 方式，主要目的是保持宽高等比放缩。将用于推理的图像（即图像编码前的图像），通过 qt 适配 qwidget 和 opengl

在一些推理的应用中有人会用opencv对接opencl来调用gpu加速一些图像处理 发现很慢后说是处理图像时要把图像从系统内存上传到gpu内存很慢导致的 实际上移动平台的gpu没有独立的显存 就像pc的集成显卡用的是系统内存 而不是独显的专有内存 实际上是底层会有内存拷贝造成的。方案因内存操作复杂，CPU 调度压力大（系统 + 程序 CPU 均更高），内存管理开销导致系统 / 程序内存占用上升；凭