毕业设计 深度学习二维码检测识别
文章目录
0 简介
今天向大家分享一个毕业设计项目
项目运行效果：
毕业设计 深度学习二维码检测识别
1 二维码基础概念
1.1 二维码介绍
二维条码/二维码（2-dimensional bar
code）是用某种特定的几何图形按一定规律在平面（二维方向上）分布的、黑白相间的、记录数据符号信息的图形；在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理：它具有条码技术的一些共性：每种码制有其特定的字符集；每个字符占有一定的宽度；具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化点。
1.2 QRCode
常见的二维码为QR Code，QR全称Quick Response，是一个近几年来移动设备上超流行的一种编码方式，它比传统的Bar
Code条形码能存更多的信息，也能表示更多的数据类型。
1.3 QRCode 特点
1、符号规格从版本1（21×21模块）到版本40（177×177 模块），每提高一个版本，每边增加4个模块。
2、数据类型与容量（参照最大规格符号版本40-L级）：
- 数字数据：7,089个字符
- 字母数据: 4,296个字符
- 8位字节数据: 2,953个字符
- 汉字数据：1,817个字符
3、数据表示方法：
- 深色模块表示二进制"1"，浅色模块表示二进制"0"。
4、纠错能力：
- L级：约可纠错7%的数据码字
- M级：约可纠错15%的数据码字
- Q级：约可纠错25%的数据码字
- H级：约可纠错30%的数据码字
5、结构链接（可选）
- 可用1-16个QR Code码符号表示一组信息。每一符号表示100个字符的信息。
2 机器视觉二维码识别技术
2.1 二维码的识别流程
首先， 对采集的彩色图像进行灰度化， 以提高后继的运行速度。
其次， 去除噪声。 采用十字形中值滤波去除噪音对二码图像的干扰主要是盐粒噪声。
利用灰度直方图工具， 使用迭代法选取适当的阈值， 对二维码进行二值化处理，灰度化 去噪 二值化 寻找探测图形确定旋转角度 定位 旋转
获得数据使其变为白底黑色条码。
最后， 确定二维码的位置探测图形， 对条码进行定位， 旋转至水平后， 获得条码数据，
以便下一步进行解码。
2.2 二维码定位
QR 码有三个形状相同的位置探测图形， 在没有旋转的情况下， 这三个位置探测图形分别位于 QR 码符号的左上角、 右上角和左下角。
三个位置探测图形共同组成图像图形。
每个位置探测图形可以看作是由 3 个重叠的同心的正方形组成， 它们分别为 7 7 个深色模块、 5 5 个浅模块和 3*3 个深色模块。
位置探测图形的模块宽度比为 1: 1:3: 1: 1。
这种 1: 1: 3: 1: 1 的宽度比例特征在图像的其他位置出现的可能性很小， 故可以将此作为位置探测图形的扫描特征。 基于此特征，
当一条直线上（称为扫描线） 被黑白相间地截为1: 1: 3:1: 1 时， 可以认为该直线穿过了位置探测图形。
另外， 该扫描特征不受图像倾斜的影响。 对比中的两个 QR 码符号可以发现， 无论 QR码符号是否倾斜， 都符合 1: 1: 3:1: 1 的扫描特征。
2.3 常用的扫描方法
1. 在 X 方向进行依次扫描。
(1) 固定 Y 坐标的取值， 在 X 方向上画一条水平直线（称为扫描线） 进行扫描。 当扫描线被黑白相间地截为 1: 1: 3: 1: 1 时，
可以认为该直线穿过了位置探测图形。 在实际判定时， 比例系数允许 0. 5 的误差， 即比例系数为1 的， 允许范围为 0. 5~1. 5， 比例系数为 3
的， 允许范围为 2. 5~3. 5。
(2) 当寻找到有直线穿过位置探测图形时， 记录下位置探测图形的外边缘相遇的第一点和最后一点 A 和 B。 由 A、 B
两点为端点的线段称为扫描线段。将扫描线段保存下来。
用相同的方法， 完成图像中所有水平方向的扫描。
2. 在 Y 方向， 使用相同的方法， 进行垂直扫描， 同样保存扫描得到的扫描线段。
扫描线段分类扫描步骤获得的扫描线段是没有经过分类的， 也就是对于特定的一条扫描线段， 无法获知其具体对应于三个位置探测图形中的哪一个。 在计算位置探测图形中
距离邻域法的思想是： 给定一个距离阈值 dT, 当两条扫描线段的中点的距离小于 d T 时， 认为两条扫描线段在同一个邻域内， 将它们分为一类，
反之则归为不同的类别。
距离邻域法的具体步骤如下：
（1） 给定一个距离阈值 dT ， d T要求满足以下条件： 位于同一个位置探测图形之中的任意两点之间的距离小于 dT ，
毕业设计 基于深度学习二维码检测识别系统
文章目录
0 简介
今天学长向大家分享一个毕业设计项目
毕业设计 基于机器视觉的人体姿态行为识别
项目运行效果：
毕业设计 深度学习人体姿势姿态识别
1、人体姿态估计简介
人体姿态估计（Human Posture Estimation），是通过将图片中已检测到的人体关键点正确的联系起来，从而估计人体姿态。
人体关键点通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等，如下图。
通过对人体关键点在三维空间相对位置的计算，来估计人体当前的姿态。
进一步，增加时间序列，看一段时间范围内人体关键点的位置变化，可以更加准确的检测姿态，估计目标未来时刻姿态，以及做更抽象的人体行为分析，例如判断一个人是否在打电话等。
人体姿态检测的挑战：
1. 每张图片中包含的人的数量是未知的。
2. 人与人之间的相互作用是非常复杂的，比如接触、遮挡等，这使得联合各个肢体，即确定一个人有哪些部分变得困难。
3. 图像中人越多，计算复杂度越大（计算量与人的数量正相关），这使得实时检测变得困难。
2、人体姿态估计数据集
由于缺乏高质量的数据集，在人体姿势估计方面进展缓慢。在近几年中，一些具有挑战性的数据集已经发布，这使得研究人员进行研发工作。人体姿态估计常用数据集：
。
人体姿态估计技术在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景，人们更加熟悉的应用就是抖音尬舞机。
4、实现原理
-
- 输入一幅图像，经过卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用 CNN网络提取Part Confidence Maps 和 Part Affinity Fields；
-
- 得到这两个信息后，我们使用图论中的 Bipartite Matching（偶匹配） 求出Part Association，将同一个人的关节点连接起来，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；
-
- 最后基于PAFs求Multi-Person Parsing—>把Multi-person parsing问题转换成graphs问题—>[Hungarian Algorithm(匈牙利算法)]
（匈牙利算法是部图匹配最常见的算法，该算法的核心就是寻找增广路径，它是一种用增广路径求二分图最大匹配的算法。)
5、实现神经网络
阶段一：VGGNet的前10层用于为输入图像创建特征映射。
阶段二：使用2分支多阶段CNN，其中第一分支预测身体部位位置（例如肘部，膝部等）的一组2D置信度图（S）。 如下图
第二分支预测一组部分亲和度的2D矢量场（L），其编码部分之间的关联度。 如下图所示，显示颈部和左肩之间的部分亲和力。
阶段三： 通过贪心推理解析置信度和亲和力图，对图像中的所有人生成2D关键点。
6 部分关键代码
POSE_PAIRS = [ ["Neck", "RShoulder"], ["Neck", "LShoulder"], ["RShoulder", "RElbow"],
["RElbow", "RWrist"], ["LShoulder", "LElbow"], ["LElbow", "LWrist"],
["Neck", "RHip"], ["RHip", "RKnee"], ["RKnee", "RAnkle"], ["Neck", "LHip"],
["LHip", "LKnee"], ["LKnee", "LAnkle"], ["Neck", "Nose"], ["Nose", "REye"],
["REye", "REar"], ["Nose", "LEye"], ["LEye", "LEar"] ]
inWidth = args.width
inHeight = args.height
net = cv.dnn.readNetFromTensorflow("graph_opt.pb")
cap = cv.VideoCapture(args.input if args.input else 0)
while cv.waitKey(1) < 0:
hasFrame, frame = cap.read()
if not hasFrame:
cv.waitKey()
break
frameWidth = frame.shape[1]
frameHeight = frame.shape[0]
net.setInput(cv.dnn.blobFromImage(frame, 1.0, (inWidth, inHeight), (127.5, 127.5, 127.5), swapRB=True, crop=False))
out = net.forward()
out = out[:, :19, :, :] # MobileNet output [1, 57, -1, -1], we only need the first 19 elements
毕业设计 基于机器视觉的人体姿态行为识别
文章目录
0 简介
今天学长向大家分享一个毕业设计项目
毕业设计 基于深度学习的安检管制物品识别系统
项目运行效果：
毕业设计 深度学习管制刀具识别系统
🧿详细项目介绍及项目分享，见主页任意置顶文章末尾！
1 课题背景
军事信息化建设一直是各国的研究热点，但我国的武器存在着种类繁多、信息散落等问题，这不利于国防工作提取有效信息，大大妨碍了我军信息化建设的步伐。同时，我军武器常以文字、二维图片和实体武器等传统方式进行展示，交互性差且无法满足更多军迷了解武器性能、近距离观赏或把玩武器的迫切需求。本文将改进后的Yolov5算法应用到武器识别中，将武器图片中的武器快速识别出来，提取武器的相关信息，并将其放入三维的武器展现系统中进行展示，以期让人们了解和掌握各种武器，有利于推动军事信息化建设。
2 实现效果
检测展示
3 卷积神经网络
简介
卷积神经网络 (CNN)
是一种算法，将图像作为输入，然后为图像的所有方面分配权重和偏差，从而区分彼此。神经网络可以通过使用成批的图像进行训练，每个图像都有一个标签来识别图像的真实性质（这里是猫或狗）。一个批次可以包含十分之几到数百个图像。
对于每张图像，将网络预测与相应的现有标签进行比较，并评估整个批次的网络预测与真实值之间的距离。然后，修改网络参数以最小化距离，从而增加网络的预测能力。类似地，每个批次的训练过程都是类似的。
相关代码实现
cnn卷积神经网络的编写如下，编写卷积层、池化层和全连接层的代码
conv1_1 = tf.layers.conv2d(x, 16, (3, 3), padding='same', activation=tf.nn.relu, name='conv1_1')
conv1_2 = tf.layers.conv2d(conv1_1, 16, (3, 3), padding='same', activation=tf.nn.relu, name='conv1_2')
pool1 = tf.layers.max_pooling2d(conv1_2, (2, 2), (2, 2), name='pool1')
conv2_1 = tf.layers.conv2d(pool1, 32, (3, 3), padding='same', activation=tf.nn.relu, name='conv2_1')
conv2_2 = tf.layers.conv2d(conv2_1, 32, (3, 3), padding='same', activation=tf.nn.relu, name='conv2_2')
pool2 = tf.layers.max_pooling2d(conv2_2, (2, 2), (2, 2), name='pool2')
conv3_1 = tf.layers.conv2d(pool2, 64, (3, 3), padding='same', activation=tf.nn.relu, name='conv3_1')
conv3_2 = tf.layers.conv2d(conv3_1, 64, (3, 3), padding='same', activation=tf.nn.relu, name='conv3_2')
pool3 = tf.layers.max_pooling2d(conv3_2, (2, 2), (2, 2), name='pool3')
conv4_1 = tf.layers.conv2d(pool3, 128, (3, 3), padding='same', activation=tf.nn.relu, name='conv4_1')
conv4_2 = tf.layers.conv2d(conv4_1, 128, (3, 3), padding='same', activation=tf.nn.relu, name='conv4_2')
pool4 = tf.layers.max_pooling2d(conv4_2, (2, 2), (2, 2), name='pool4')
flatten = tf.layers.flatten(pool4)
fc1 = tf.layers.dense(flatten, 512, tf.nn.relu)
fc1_dropout = tf.nn.dropout(fc1, keep_prob=keep_prob)
fc2 = tf.layers.dense(fc1, 256, tf.nn.relu)
fc2_dropout = tf.nn.dropout(fc2, keep_prob=keep_prob)
fc3 = tf.layers.dense(fc2, 2, None)
4 Yolov5
我们选择当下YOLO最新的卷积神经网络YOLOv5来进行火焰识别检测。6月9日，Ultralytics公司开源了YOLOv5，离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的！在我们还对YOLOv4的各种高端操作、丰富的实验对比惊叹不已时，YOLOv5又带来了更强实时目标检测技术。按照官方给出的数目，现版本的YOLOv5每个图像的推理时间最快0.007秒，即每秒140帧（FPS），但YOLOv5的权重文件大小只有YOLOv4的1/9。
目标检测架构分为两种，一种是two-stage，一种是one-stage，区别就在于 two-stage 有region
proposal过程，类似于一种海选过程,网络会根据候选区域生成位置和类别，而one-stage直接从图片生成位置和类别。今天提到的 YOLO就是一种
one-stage方法。YOLO是You Only Look Once的缩写,意思是神经网络只需要看一次图片，就能输出结果。YOLO
一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。
YOLOv5有4个版本性能如图所示：
网络架构图
YOLOv5是一种单阶段目标检测算法，该算法在YOLOv4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。主要的改进思路如下所示：
输入端
在模型训练阶段，提出了一些改进思路，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；
Mosaic数据增强
：Mosaic数据增强的作者也是来自YOLOv5团队的成员，通过随机缩放、随机裁剪、随机排布的方式进行拼接，对小目标的检测效果很不错
基准网络
融合其它检测算法中的一些新思路，主要包括：Focus结构与CSP结构；
Neck网络
在目标检测领域，为了更好的提取融合特征，通常在Backbone和输出层，会插入一些层，这个部分称为Neck。Yolov5中添加了FPN+PAN结构，相当于目标检测网络的颈部，也是非常关键的。
FPN+PAN的结构
这样结合操作，FPN层自顶向下传达强语义特征（High-Level特征），而特征金字塔则自底向上传达强定位特征（Low-
Level特征)，两两联手，从不同的主干层对不同的检测层进行特征聚合。
FPN+PAN借鉴的是18年CVPR的PANet，当时主要应用于图像分割领域，但Alexey将其拆分应用到Yolov4中，进一步提高特征提取的能力。
Head输出层
输出层的锚框机制与YOLOv4相同，主要改进的是训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_nms。
对于Head部分，可以看到三个紫色箭头处的特征图是40×40、20×20、10×10。以及最后Prediction中用于预测的3个特征图：
①==>40×40×255
②==>20×20×255
③==>10×10×255
-
相关代码
class Detect(nn.Module):
stride = None # strides computed during build
onnx_dynamic = False # ONNX export parameterdef init(self, nc=80, anchors=(), ch=(), inplace=True): # detection layer
super().init()
self.nc = nc # number of classes
self.no = nc + 5 # number of outputs per anchor
self.nl = len(anchors) # number of detection layers
self.na = len(anchors[0]) // 2 # number of anchors
self.grid = [torch.zeros(1)] * self.nl # init grid
self.anchor_grid = [torch.zeros(1)] * self.nl # init anchor grid
self.register_buffer(‘anchors’, torch.tensor(anchors).float().view(self.nl, -1, 2)) # shape(nl,na,2)
self.m = nn.ModuleList(nn.Conv2d(x, self.no * self.na, 1) for x in ch) # output conv
self.inplace = inplace # use in-place ops (e.g. slice assignment)def forward(self, x):
z = [] # inference output
for i in range(self.nl):
x[i] = self.mi # conv
bs, _, ny, nx = x[i].shape # x(bs,255,20,20) to x(bs,3,20,20,85)
x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()if not self.training: # inference if self.onnx_dynamic or self.grid[i].shape[2:4] != x[i].shape[2:4]: self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i) y = x[i].sigmoid() if self.inplace: y[..., 0:2] = (y[..., 0:2] * 2 - 0.5 + self.grid[i]) * self.stride[i] # xy y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i] # wh else: # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953 xy = (y[..., 0:2] * 2 - 0.5 + self.grid[i]) * self.stride[i] # xy wh = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i] # wh y = torch.cat((xy, wh, y[..., 4:]), -1) z.append(y.view(bs, -1, self.no)) return x if self.training else (torch.cat(z, 1), x)def _make_grid(self, nx=20, ny=20, i=0):
d = self.anchors[i].device
if check_version(torch.version, ‘1.10.0’): # torch>=1.10.0 meshgrid workaround for torch>=0.7 compatibility
yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)], indexing=‘ij’)
else:
yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)])
grid = torch.stack((xv, yv), 2).expand((1, self.na, ny, nx, 2)).float()
anchor_grid = (self.anchors[i].clone() * self.stride[i])
.view((1, self.na, 1, 1, 2)).expand((1, self.na, ny, nx, 2)).float()
return grid, anchor_grid
5 模型训练
训练效果如下
相关代码
#部分代码
def train(hyp, opt, device, tb_writer=None):
print(f'Hyperparameters {hyp}')
log_dir = tb_writer.log_dir if tb_writer else 'runs/evolve' # run directory
wdir = str(Path(log_dir) / 'weights') + os.sep # weights directory
os.makedirs(wdir, exist_ok=True)
last = wdir + 'last.pt'
best = wdir + 'best.pt'
results_file = log_dir + os.sep + 'results.txt'
epochs, batch_size, total_batch_size, weights, rank = \
opt.epochs, opt.batch_size, opt.total_batch_size, opt.weights, opt.local_rank
# TODO: Use DDP logging. Only the first process is allowed to log.
# Save run settings
with open(Path(log_dir) / 'hyp.yaml', 'w') as f:
yaml.dump(hyp, f, sort_keys=False)
with open(Path(log_dir) / 'opt.yaml', 'w') as f:
yaml.dump(vars(opt), f, sort_keys=False)
# Configure
cuda = device.type != 'cpu'
init_seeds(2 + rank)
with open(opt.data) as f:
data_dict = yaml.load(f, Loader=yaml.FullLoader) # model dict
train_path = data_dict['train']
test_path = data_dict['val']
nc, names = (1, ['item']) if opt.single_cls else (int(data_dict['nc']), data_dict['names']) # number classes, names
assert len(names) == nc, '%g names found for nc=%g dataset in %s' % (len(names), nc, opt.data) # check
# Remove previous results
if rank in [-1, 0]:
for f in glob.glob('*_batch*.jpg') + glob.glob(results_file):
os.remove(f)
# Create model
model = Model(opt.cfg, nc=nc).to(device)
# Image sizes
gs = int(max(model.stride)) # grid size (max stride)
imgsz, imgsz_test = [check_img_size(x, gs) for x in opt.img_size] # verify imgsz are gs-multiples
# Optimizer
nbs = 64 # nominal batch size
# default DDP implementation is slow for accumulation according to: https://pytorch.org/docs/stable/notes/ddp.html
# all-reduce operation is carried out during loss.backward().
# Thus, there would be redundant all-reduce communications in a accumulation procedure,
# which means, the result is still right but the training speed gets slower.
# TODO: If acceleration is needed, there is an implementation of allreduce_post_accumulation
# in DeepLearningExamples/PyTorch/LanguageModeling/BERT/run_pretraining.py at master · NVIDIA/DeepLearnin
accumulate = max(round(nbs / total_batch_size), 1) # accumulate loss before optimizing
hyp['weight_decay'] *= total_batch_size * accumulate / nbs # scale weight_decay
pg0, pg1, pg2 = [], [], [] # optimizer parameter groups
for k, v in model.named_parameters():
if v.requires_grad:
if '.bias' in k:
pg2.append(v) # biases
elif '.weight' in k and '.bn' not in k:
pg1.append(v) # apply weight decay
else:
pg0.append(v) # all else
if opt.adam:
optimizer = optim.Adam(pg0, lr=hyp['lr0'], betas=(hyp['momentum'], 0.999)) # adjust beta1 to momentum
else:
optimizer = optim.SGD(pg0, lr=hyp['lr0'], momentum=hyp['momentum'], nesterov=True)
optimizer.add_param_group({'params': pg1, 'weight_decay': hyp['weight_decay']}) # add pg1 with weight_decay
optimizer.add_param_group({'params': pg2}) # add pg2 (biases)
print('Optimizer groups: %g .bias, %g conv.weight, %g other' % (len(pg2), len(pg1), len(pg0)))
del pg0, pg1,
6 实现效果
最后
项目运行效果：
毕业设计 深度学习管制刀具识别系统
更多推荐
6
0- 0
已为社区贡献92条内容
所有评论(0)