logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【yolov8s-pose三种模型推理时间以及不同batch下GPU利用率对比(附代码)

随之batch_size的增加,显存随着增加,batch_size设置为61的时候,显存降低,但是下面的GPU利用率达到最高,当batch_size达到56的时候,onnx显存撑爆。模型的输入都是640x640,不同batch进行的推理情况,每个batch测试10次,三种模型在验证集上的预测精度相同。Tensorrt模型不能动态宽高,动态宽高会造成模型的复杂度变高,性能反而降低,只使用动态batc

文章图片
#batch#开发语言
到底了