基于梦飞openmv的自主识别物联网图传小车
基于梦飞openmv的自主识别物联网图传小车
前言
接上一篇<梦飞openmv py-AI机器视觉_自主开发openmv底层固件和硬件>,在自主开发的oepnmv硬件之后,时隔一年,我们终于在openmv自主开发的路上又进一步,这一次不仅仅是硬件上的推进,更是软件交互和用户体验上的提升。这次要给大家介绍的就是我们纯自主开发的openmv机器视觉自主识别和图传控制小车。
B站功能演示视频:https://b23.tv/phCGmPr
硬件介绍
它是基于梦飞自主开发的openmv硬件及各种扩展模块的综合应用,集成了openmv各种图像识别算法,小车PID控制,视频图传,视觉追踪,机械臂自动控制等在内的综合应用方案。以下将逐一介绍各部分组成结构和原理。
第一,自主集成openmv硬件,梦飞openmv硬件集成了更多的外设引脚,支持电机控制,(LCD显示)SPI-wifi图传,舵机机械臂控制引脚,串口等在内的多个外设,并开发了对应的集成模块。
(1)自主开发了用于对接openmv的电机驱动和电源一体化控制板,集成双LM2596电源芯片和RZ7889电机驱动芯片,具备对外5V3A的输出能力,以及6-15V宽电压输入能力,电机驱动和对外供电单独运行,RZ7889具备最大5A电机PWM输出控制能力,基本满足市面上所有智能小车得控制和运行。
(2)自主开发了基于ESP8266得SPI-wifi图传模块,具备实时视频传输能力(HTTP传输实时速度可达200KB/s,VGA传输10fps,QVGA可达20fps以上),可在图像识别完成后将视频传输到手机端实时显示,以及单独增加了用于控制小车和实时通讯得蓝牙模块,WiFi和蓝牙单独运行互不干扰。
(3)自主开发了三自由度机械臂模块,在原有追踪云台基础上增加机械爪,可拆卸和可安装openmv模块,实现自动识别和抓取的目的,可应用与自动分拣,搬运等领域,机械臂分两款,分别是普通塑料材质骨架和MG90S金属舵机安装,以及铝合金骨架和,G996金属舵机安装的机械臂。
(4)增加了手机app集成,可将单独的算法功能全部集成在openmv硬件上,通过手机app实时显示视频和切换不同的识别模式,基本识别模式包括循迹,物体颜色识别,人脸识别追踪等。也可通过手机app实时控制小车实现视频控制。
所有模块接口均直插在openmv硬件上,实现一体化集成,这是以往任何一款openmv硬件都无法直接完成的,并且所有模块都采用电子积木的方式集成,方便拆卸,更换,调试等各种操作,并且有任何损坏只需更换对应模块即可,省钱省力。
软件功能介绍
openmv软件开发上采用micro-python开发,各个模块集成到对应的功能函数,目前功能函数包括,串口协议处理模块(手机app蓝牙通讯),车辆控制模块(电机PWM驱动),测距模块(图像简单测距),图像传输模块(wifi图传),图像识别模块(颜色识别,人脸识别,循迹等),PID追踪模块以及机械臂控制模块等在内的众多模块化集成代码,可方便用户快速集成自己想要的功能。
目前基于我们开发的两款openmv模块,分别为stm32F407主控和stm32H7主控,两款模块的特点分别为:
(1)F407主控的openmv模块,支持直接采集JPEG图像,搭配ov2640摄像头和wifi图传模块可直接实现JPEG图传采集和传输,另外,算法集成上自主集成了颜色识别,二维码识别,人脸识别(基于haar特征训练的机器学习算法,支持人脸,手,口罩,行人,眼,车辆等任意特征训练的模型,提供众多转换好的模型供使用),模板匹配(NCC模板匹配,可支持数字,形状等模式识别)。
(2)H7主控的openmv模块,除支持F407所涉及所有功能外,另外支持openmv4plus的所有算法,但是由于没有外部SDRAM一些大点的神经网络无法运行,但是我们自主集成了stm32-CUBE-AI,可使用lenet和mnist神经网络识别数字,也可以使用卷积神经网络识别人体特征等。
更多推荐
所有评论(0)