完整代码见我的GitHub地址:https://github.com/xingjianzhang1997/gesture-recognition

主要思路:1.构建数据集          2.建立神经网络         3.训练并调参        4.保存并调用

另外我还加了界面设计和机械臂控制(通过串口通信把判断结果发给单片机,所以代码中有serial模块)

效果演示:

                              

              

project清单:

一共识别5种手势动作 1. 剪刀动作 2.石头动作 3.布动作 4.OK动作 5.good动作

训练集: 1~4号动作各有1300张照片,5号动作有1450张照片 测试集: 1~5号动作各有200张照片

文件解释:

1.data文件里面存放test数据集,train数据集,实时保存的图像(用于在线检测)。

2.ges_ico文件里面存放界面窗口显示的各种图标。

3.log文件里面存放训练好的CNN网络的模型参数。

4.CallFrame.py是界面窗口的逻辑文件,用来调用界面文件并编写信号与槽函数。

5.Frame.py是界面窗口的界面文件,通过PyQt5的designer工具生成。

6.GetTestImage.py是利用OpenCV获取图片并标记,用来制作测试集。

7.GetTrainImage.py是利用OpenCV获取图片并标记,用来制作训练集。

8.SaveGesture.py是利用OpenCV实时获取图片,并进行预处理,用于在线检测手势。

9.TestGesture.py是将实时获取的图片送入已训练好的CNN中判断其手势动作。

10.TestInTest.py是将测试集送入已训练好的CNN中判断该网络模型的准确率。

11.Train.py是训练CNN模型函数,并将训练好的模型参数保存在本地。

12.Train_inputdata.py是用来读取数据集的图像和标签,并打包成batch形式。

13.Train_model.py是模型结构,这里用的是AlexNet结构。

使用方法: 先用Train.py训练好模型参数,然后运行CallFrame.py调用出界面窗口, 点击窗口的相应按钮就可以在线检测手势动作,其中的执行手势按钮是和下位机通信(如STM32),通过串口函数将识别结果传给下位机,实现根据手势动作控制的功能。

测试结果: 使用该模型训练到900步的时候在测试集上正确率可以稳定在95%左右。

Logo

秉承“创新、开放、协作、共享”的开源价值观,致力于为大规模开源开放协同创新助力赋能,打造创新成果孵化和新时代开发者培养的开源创新生态!支持公有云使用、私有化部署以及软硬一体化私有部署。

更多推荐