darkNet训练自己的yolov4模型

简介：Darknet项目是github上的一个开源深度学习框架，用c语言编写，布置C/C++环境比较方便。项目地址：https://github.com/AlexeyAB/darknet项目作者主页：https://pjreddie.com/darknet/前人栽树后人乘凉，多谢开源大佬1.图片数据标注labelme标注工具标注的文件是json格式的文件，在yolo检测的框架下需要txt格式的标注

1037号森林里一段干木头

1586人浏览 · 2020-10-29 09:42:10

1037号森林里一段干木头 · 2020-10-29 09:42:10 发布

简介：Darknet项目是github上的一个开源深度学习框架，用c语言编写，布置C/C++环境比较方便。

项目地址：https://github.com/AlexeyAB/darknet
项目作者主页：https://pjreddie.com/darknet/
前人栽树后人乘凉，多谢开源大佬

1.图片数据标注

labelme标注工具标注的文件是json格式的文件，在yolo检测的框架下需要txt格式的标注，但是没有关系，转换也很简单。
没有labelme的话直接，pip install labelme即可。

（注:labelme默认是保存图片数据的，一般来说用不到，菜单-Save With Image Data取消即可）
这里我标注了4类数据，分别用0 1 2 3表示，由于图片数据涉及到其他公司秘密不方便展示，所以随便找了个图片做标注示范。

2. annotation格式转换

json格式标签内容如下

{
  "version": "4.5.6",
  "flags": {},
  "shapes": [
    {
      "label": "0",
      "points": [
        [
          1966.75,
          1436.375
        ],
        [
          2088.625,
          1567.625
        ]
      ],
      "group_id": null,
      "shape_type": "rectangle",
      "flags": {}
    },
    {
      "label": "1",
      "points": [
        [
          666.75,
          895.75
        ],
        [
          935.5,
          1186.375
        ]
      ],
      "group_id": null,
      "shape_type": "rectangle",
      "flags": {}
    },
  ],
  "imagePath": "..\\FOV_0000.bmp",
  "imageData": null,
  "imageHeight": 2984,
  "imageWidth": 4080
}

yolo的txt标签格式
<x_center> <y_center>
由于图片可能有尺度缩放所以YOLO里边的位置用的是图片的百分比坐标
python转换代码如下

import json
import os
import cv2
img_folder_path=r'F:\imagedata\FOV\FOV'
folder_path=r"F:\imagedata\FOV\FOV\annotation"#标注数据的文件地址
txt_folder_path = r"F:\imagedata\FOV\FOV\txt"


def create_txt(img_name,json_d,img_path):
    src_img=cv2.imread(img_path)
    h,w = src_img.shape[:2]
    #txt文件名和图片名保持一致
    txt_name = img_name.split(".")[0]+".txt"
    txt_path = os.path.join(txt_folder_path,txt_name)
    print(txt_path)
    with open(txt_path,'a+') as f:
        for item in json_d["shapes"]:
            print(item['points'])
            print(item['label'])
            point=item['points']
            x_center = (point[0][0]+point[1][0])/2
            y_center = (point[0][1]+point[1][1])/2
            width = point[1][0]-point[0][0]
            hight = point[1][1]-point[0][1]
            print(x_center)
            f.write(" {} ".format(item['label']))
            f.write(" {} ".format(x_center/w))
            f.write(" {} ".format(y_center/h))
            f.write(" {} ".format(width/w))
            f.write(" {} ".format(hight/h))
            f.write(" \n")
            


for jsonfile in os.listdir(folder_path):
    temp_path=os.path.join(folder_path,jsonfile)
    #如果是一个子目录就继续
    if os.path.isdir(temp_path):
        continue
    print("json_path:\t",temp_path)
    jsonfile_path=temp_path

    with open(jsonfile_path, "r", encoding='utf-8') as f:
        json_d = json.load(f)
        #读取图片名
        img_name=json_d['imagePath'].split("\\")[1]
        img_path=os.path.join(img_folder_path,img_name)
        print("img_path:\t",img_path)
        create_txt(img_name,json_d,img_path)

生成的txt标签文件

 0  0.4969822303921569  0.5033512064343163  0.029871323529411766  0.043984584450402146  
 1  0.19635416666666666  0.3488815348525469  0.06587009803921569  0.09739443699731903  
 1  0.2717984068627451  0.3488815348525469  0.07123161764705882  0.09739443699731903  
 1  0.19673713235294119  0.24677446380697052  0.0666360294117647  0.09425268096514745  
 1  0.2714154411764706  0.2483453418230563  0.0628063725490196  0.09111092493297587

最后把图片和标签数据放到darknet\build\darknet\x64\data\obj目录下，标签和图片在同一个目录下，且标签名和图片名一样，如图

3. darknet cfg文件设置

在darknet\build\darknet\x64\cfg目录下修改yolov4-tiny-obj.cfg文件（记得备份原文件），修改bath,width,height,max_batches(下面的steps= max_batches0.8,max_batches0.9)，官网的要求width height需要能被32整除，max_batches=classes*2000.

# Training
batch=4
subdivisions=4
width=2048
height=1024
............

learning_rate=0.00261
burn_in=1000
max_batches = 8000
policy=steps
steps=6400,7200
scales=.1,.1

修改classes为你训练数据的种类数，有两处,另外一个很重要的参数每一个[yolo]层前面的filters=(种类数+5)*3,有两处，例如如果有4类，则filters=(4+5)*3=27,5类：filters=(5+5)*3=30

[convolutional]
size=1
stride=1
pad=1
filters=27
activation=linear

[yolo]
mask = 3,4,5
anchors = 10,14,  23,27,  37,58,  81,82,  135,169,  344,319
classes=4
num=6
...........
[convolutional]
size=1
stride=1
pad=1
filters=27
activation=linear

[yolo]
mask = 0,1,2
anchors = 10,14,  23,27,  37,58,  81,82,  135,169,  344,319
classes=4
num=6
............

4.创建.data .name 文件

在darknet\build\darknet\x64\data目录下创建FOV_obj.data文件(文件名随便取),写入内容

classes= 4
train  = data/train.txt
valid  = data/test.txt
names = data/FOV_obj.names
backup = backup/

创建FOV_obj.name文件写入以下内容

创建train.txt文件写入你想要训练的图片

data/obj/FOV_0000.jpg
data/obj/FOV_0001.jpg
data/obj/FOV_0002.jpg
data/obj/FOV_0003.jpg
data/obj/FOV_0004.jpg
..............

创建test.txt文件写入

data/obj/FOV_0065.jpg
data/obj/FOV_0066.jpg
data/obj/FOV_0067.jpg
data/obj/FOV_0068.jpg
.............

python代码

#train.txt
txt_ = r"D:\mydoc\ML\yolo\darknet\build\darknet\x64\data\train.txt"
with open(txt_,'a+') as f:
    for i in range(60):
        item = "data/obj/"+"FOV_{}.jpg".format(str(i).zfill(4))
        f.write(item)
        f.write("\n")

#test.txt
txt_ = r"D:\mydoc\ML\yolo\darknet\build\darknet\x64\data\test.txt"
with open(txt_,'a+') as f:
    for i in range(60,69):
        item = "data/obj/"+"FOV_{}.jpg".format(str(i).zfill(4))
        f.write(item)
        f.write("\n")

最后的文件如下

5. 下载yolo预训练模型

https://github.com/AlexeyAB/darknet/releases/download/darknet_yolo_v4_pre/yolov4-tiny.conv.29
放入darknet\build\darknet\x64目录下

6.train

打开cmd进入darknet.exe所在目录
输入

darknet.exe detector train data/FOV_obj.data cfg/yolov4-tiny-obj.cfg yolov4-tiny.conv.29 29

可以看到训练损失开始很大，在训练200-300个batch时下降到3点几，并在此处震荡，另外每训练1000个batch会保存一次模型。模型权值保存在darknet\build\darknet\x64\backup目录下，某次训练中断了，想要接着上一次的训练过程继续的话也很方便，输入：

darknet.exe detector train data/FOV_obj.data cfg/yolov4-tiny-obj.cfg backup\yolov4-tiny-obj_last.weights

7.demo test

使用刚刚训练的模型权重做测试

darknet.exe detector test data/FOV_obj.data cfg/yolov4-tiny-obj.cfg backup\yolov4-tiny-obj_1000.weights

在Enter Image path：处填入图片路径(eg:data/test.jpg)

data
在这里插入图片描述

######OK,至此基本训练流程走完，剩下的就是提升网络性能了。
训练过程的一点总结

在yolov4-tiny-obj.cfg配置中图片的高度和宽度应该能被32整除，用其他高宽也能训练，但是会出现比较大的震荡，test测试的时候找不到目标，或者是有一层的输入不匹配（图像输入0x0x0）。
训练yolov4完整框架，用yolov4.conv.137预训练权重，图像尺寸大一点常常会导致GPU out of memory，解决方法是在.cfg文件中提高subdivisions=4（或者8、16、32、64），另外就是改输入的尺寸width height。参考https://www.ccoderun.ca/programming/2020-09-25_Darknet_FAQ/#cuda_out_of_memory
网络会把尺寸*1.4，例如在.cfg文件中设置width=1024,height=768,
yolov4完整版的配置和yolov4-tiny版配置差不多，就是改width,height,classes,yolo层前面卷积层的filters(classes,filters有三处需要改，因为它有三个yolo层)。

AtomGit 开源协作平台测评赛

瓜分20万奖金获得内推名额丰厚实物奖励易参与易上手

更多推荐

ADS1292R 使用过程心电图高精度ADC模块

文章目录1 Fundamentals ofPrecision ADC Noise Analysis 精密模数转换器噪声分析基础1 Fundamentals ofPrecision ADC Noise Analysis 精密模数转换器噪声分析基础https://www.ti.com.cn/cn/lit/wp/slyy192/slyy192.pdf?ts=1600659610730&ref_u

开放原子开发者工作坊

实现一个家庭安防与环境监测系统（一）

开放原子开发者工作坊

【cf】Codeforces Round #774 (Div. 2) 前4题

题目A. Square Counting 简单数学题目大意题解代码B. Quality vs Quantity 排序题目大意题解代码C. Factorials and Powers of Two 状态压缩dp+位运算题目大意题解代码D. Weight the Tree 树形dp+dfs题目大意题解代码E. Power Board 看起来像是数论？许多年没打cf了，偶尔打了一盘，恢复紫名了。A. S