EISeg分割标注软件使用

太阳花的小绿豆

36207人浏览 · 2021-09-07 17:06:29

太阳花的小绿豆 · 2021-09-07 17:06:29 发布

官方原话：EISeg(Efficient Interactive Segmentation)是基于飞桨开发的一个高效智能的交互式分割标注软件。涵盖了高精度和轻量级等不同方向的高质量交互式分割模型，方便开发者快速实现语义及实例标签的标注，降低标注成本。另外，将EISeg获取到的标注应用到PaddleSeg提供的其他分割模型进行训练，便可得到定制化场景的高精度模型，打通分割任务从数据标注到模型训练及预测的全流程。
飞桨(PaddlePaddle)是百度开源的深度学习框架，社区也比较活跃，关键是中文方便交流，哈哈哈。
EISeg工具是在PaddlePaddle/PaddleSeg仓库下contrib/EISeg里（从release2.3以后直接从contrib移到PaddleSeg目录下了），仓库地址如下：
https://github.com/PaddlePaddle/PaddleSeg

EISeg工具也是最近Paddle团队才开源（大概是在2021.08.24）的一个实用工具，现在还在不断迭代优化中：

在这里插入图片描述

1环境配置与安装

1.1创建conda虚拟环境(建议)

为了不影响其他python环境，建议新建一个环境。（不想新建可以跳过）
这里以创建一个名为eiseg_env，python版本为3.8的环境为例：

conda create -n eiseg_env python=3.8

创建完成后，进入新环境：

conda activate eiseg_env

1.2安装EISeg

在官方的Reame里有写需要安装PaddlePaddle，所以先安装下PaddlePaddle包。
在这里插入图片描述安装PaddlePaddle（这里默认是安装的CPU版的，如果要安装GPU版，看官方文档）：

pip install paddlepaddle

然后再安装EISeg(这里以pip安装方式为例，你也可以按照官方的教程使用源码安装)：

pip install eiseg

安装成功后直接在终端输入eiseg即可启动：

eiseg

在这里插入图片描述

2简单使用

2.1模型预训练权重下载

EISeg开放了在COCO+LVIS和大规模人像数据上训练的标注模型，并且分别提供了高精度和轻量化两种选择（后面官方可能会开放更多可用模型，建议大家自己去官网看下文档）。这里以下载针对通用场景的高精度模型为例hrnet18_ocr64_cocolvis，点击对应权重下载地址进行下载。

模型类型	适用场景	模型结构	下载地址
高精度模型	适用于通用场景的图像标注。	HRNet18_OCR64	hrnet18_ocr64_cocolvis
轻量化模型	适用于通用场景的图像标注。	HRNet18s_OCR48	hrnet18s_ocr48_cocolvis
高精度模型	适用于人像标注场景。	HRNet18_OCR64	hrnet18_ocr64_human
轻量化模型	适用于人像标注场景。	HRNet18s_OCR48	hrnet18s_ocr48_human

2.2载入模型权重

启动EISeg后，在右上角选择模型类型，刚刚下载的是高精度的模型，所以就选择高精度模型。
在这里插入图片描述
然后点击加载网络权重，选择刚刚下载好的权重文件就可以了。

在这里插入图片描述

2.3添加类别标签

在工具右侧点击添加标签按钮，添加自己分割任务中的目标类别。

在这里插入图片描述
每添加一个标签都可以自己随便选择一个喜欢的颜色（每个类别用不同的颜色区分）：

2.4导出类别标签

然后建议导出标签信息（比如保存到label.txt文件中），方便下次使用：

在这里插入图片描述
简单分析下保存的标签内容，每行代表一个类别的信息，这些信息使用空格进行分隔。比如下面的第一行，1代表类别索引，dog代表类别名称，239 41 41代表这个类别在标注时使用的颜色（RGB三个值）。根据这些信息其实我们一开始就可以自己先构建出这个标签文件，然后直接加载这个标签就行了。

1 dog 239 41 41 
2 cat 245 128 6

2.5导入类别标签

同样点击标注->加载标签列表，选择上面刚刚讲到的标签文件即可。

2.6标注图片

点击左上角文件，然后可以选择单张图片进行标注，或者点击打开文件夹对里面的图片一张张进行标注。

在这里插入图片描述
接着先在右侧的标签栏中选择要标注的目标类别，然后在图像的目标中用鼠标左键点一下增加一个正样本（图中会出现一个绿色的星号），然后模型会自动帮我们去抠出它认为的目标。

在这里插入图片描述
很明显，模型将人类的胳膊也当成了dog的一部分这是不对的，那么我们可以在胳膊的位置处点击鼠标右键，增加一个负样本点（图中会出现一个红色的星号），然后网络会把标注有负样本的区域给去掉，此时标注的基本就是正确的了。

在这里插入图片描述
标注完成后点击空格，会生成该目标的多边形边界（注意里面还包含了目标的bbox信息，即目标检测任务的信息），我们可以在该边界上新增（鼠标在边缘上左键双击）或者删除点（鼠标在边缘点上左键双击），并且拖动这些点的位置进行微调。标注完一张图片后点击保存按钮，然后会在当前文件夹下生成一个label文件夹（文件的输出位置可以在文件->改变标签保存路径更改保存目录）。

在这里插入图片描述

2.7生成的标注信息

打开目标标注信息的目录，可以看到针对每张图片会默认会生成3张图片和一个coco.json文件（这个文件是所有图片共用的，和COCO的json的文件一样）。

其中1.png是之前在PASCAL VOC数据中介绍的语义分割mask标签文件（注意，这个文件并没有加上调色板信息。它就是一个灰度图，灰度值对应类别id）可参考我之前写的文章。
1_pseudo.png是一个彩色mask标签文件（其实只要1.png就够了），方便可视化。
1_foreground.png就是把前景抠出来了，也是方便可视化，感觉没啥用。
coco.json是MS COCO的数据格式，具体参考我之前讲的MS COCO数据集文章，注意里面还包含了目标的bbox信息，即目标检测任务的信息（说明目标检测任务也能用）。

在这里插入图片描述

2.8更改标注数据格式

这里默认使用的是MS COCO的数据格式，你也可以设置成JSON保存格式，就和labelme标注工具一样，每张图片生成一个json文件。在工具左上角功能中进行设置。

在这里插入图片描述

2.9其他

后续再补

3常用快捷键

这里接直接复制官方文档中的快捷键：

部分按键/快捷键	功能
鼠标左键	增加正样本点
鼠标右键	增加负样本点
鼠标中键	平移图像
Ctrl+鼠标中键（滚轮）	缩放图像
S	切换上一张图
F	切换下一张图
Space（空格）	完成标注/切换状态
Ctrl+Z	撤销
Ctrl+Shift+Z	清除
Ctrl+Y	重做
Ctrl+A	打开图像
Shift+A	打开文件夹
E	打开快捷键表
Backspace（退格）	删除多边形
鼠标双击（点）	删除点
鼠标双击（边）	添加点