YOLOv8数据集标签统计保姆级教程：用Python脚本一键分析各类别数量（附完整代码）
·
YOLOv8数据集标签统计实战指南：从数据洞察到模型优化
在计算机视觉项目中，数据质量往往决定了模型性能的上限。当你花费数周时间标注了成千上万的图像，准备开始训练YOLOv8模型时，是否曾思考过：我的数据集类别分布均衡吗？哪些类别可能存在样本不足的问题？本文将带你深入理解数据集分析的重要性，并提供一个完整的Python解决方案，帮助你快速掌握数据集的统计特征。
1. 为什么数据集标签统计如此重要
想象一下，你正在训练一个用于智能安防的目标检测模型，数据集中"人"类别的样本是"车辆"类别的十倍。这样的模型在实际应用中可能会对车辆视而不见，造成严重的安全隐患。这就是我们首先要进行数据集分析的根本原因。
类别不平衡问题在目标检测任务中尤为常见，主要表现为：
- 多数类主导 ：某些类别样本数量远超其他类别
- 少数类忽视 ：稀有类别样本不足，模型难以学习有效特征
- 评估失真 ：准确率等指标可能因数据倾斜而产生误导
通过标签统计，我们能够：
- 发现潜在的类别不平衡问题
- 评估数据标注的质量和一致性
- 为数据增强策略提供依据
- 合理设计损失函数和采样策略
专业提示：理想情况下，各类别样本数量应保持相对均衡，差异不超过一个数量级。但实际应用中，完全平衡往往难以实现，需要结合具体场景判断。
2. YOLOv8数据集结构深度解析
在开始编写统计脚本前，我们需要彻底理解YOLOv8的标准数据集格式。一个规范的数据集目录结构如下：
dataset/
├── images/
│ ├── train/
│ │ ├── 0001.jpg
│ │ ├── 0002.jpg
│ │ └── ...
│ ├── val/
│ │ ├── 1001.jpg
│ │ ├── 1002.jpg
│ │ └── ...
│ └── test/ # 可选
│ ├── 2001.jpg
│ ├── 2002.jpg
│ └── ...
└── labels/
├── train/
│ ├── 0001.txt
│ ├── 0002.txt
│ └── ...
├── val/
│ ├── 1001.txt
│ ├── 1002.txt
│ └── ...
└── test/ # 可选
├── 2001.txt
├── 2002.txt
└── ...
YOLO格式的标签文件(.txt)遵循以下规范：
- 每行对应一个标注对象
- 每行格式为：
class_id center_x center_y width height - 所有坐标值都是相对于图像宽高的归一化值(0-1)
class_id为整数，从0开始编号
理解这一结构对编写正确的统计脚本至关重要。错误的路径处理或文件解析将导致统计结果不准确。
3. 标签统计Python脚本全解析
下面是一个功能完善、可直接使用的标签统计脚本，我们将逐部分解析其实现原理和使用方法。
import os
from collections import defaultdict
import matplotlib.pyplot as plt
import json
def analyze_yolo_dataset(label_root, class_names=None):
"""
全面统计YOLO格式数据集的标签分布情况
参数:
label_root: labels目录的路径
class_names: 可选，类别名称列表，如['person', 'car', 'dog']
返回:
包含完整统计信息的字典
"""
# 初始化统计数据结构
stats = {
'sets': defaultdict(lambda: defaultdict(int)),
'total': defaultdict(int),
'files_count': defaultdict(int),
'objects_per_image': defaultdict(list)
}
# 遍历train/val/test子目录
for subset in os.listdir(label_root):
if subset not in ['train', 'val', 'valid', 'test']:
continue
subset_path = os.path.join(label_root, subset)
if not os.path.isdir(subset_path):
continue
# 获取所有标签文件
label_files = [f for f in os.listdir(subset_path) if f.endswith('.txt')]
stats['files_count'][subset] = len(label_files)
# 处理每个标签文件
for label_file in label_files:
file_path = os.path.join(subset_path, label_file)
with open(file_path, 'r') as f:
lines = f.readlines()
# 统计当前文件的物体数量
objects_in_file = 0
for line in lines:
line = line.strip()
if not line:
continue
try:
class_id = line.split()[0]
stats['sets'][subset][class_id] += 1
stats['total'][class_id] += 1
objects_in_file += 1
except IndexError:
continue
stats['objects_per_image'][subset].append(objects_in_file)
# 如果有类别名称，将class_id映射为名称
if class_names:
stats['class_names'] = class_names
renamed_stats = {
'sets': defaultdict(lambda: defaultdict(int)),
'total': defaultdict(int),
'files_count': stats['files_count'],
'objects_per_image': stats['objects_per_image']
}
for subset, counts in stats['sets'].items():
for class_id, count in counts.items():
try:
class_name = class_names[int(class_id)]
renamed_stats['sets'][subset][class_name] = count
except (ValueError, IndexError):
renamed_stats['sets'][subset][class_id] = count
for class_id, count in stats['total'].items():
try:
class_name = class_names[int(class_id)]
renamed_stats['total'][class_name] = count
except (ValueError, IndexError):
renamed_stats['total'][class_id] = count
stats = renamed_stats
return stats
def visualize_stats(stats, save_path=None):
"""
可视化统计结果
参数:
stats: analyze_yolo_dataset返回的统计字典
save_path: 可选，图片保存路径
"""
# 创建可视化图表
plt.figure(figsize=(15, 10))
# 1. 各类别总数分布
plt.subplot(2, 2, 1)
if hasattr(stats, 'class_names'):
labels = [f"{name}\n(id:{id})" for id, name in enumerate(stats['class_names'])]
else:
labels = [f"Class {id}" for id in stats['total'].keys()]
values = list(stats['total'].values())
plt.bar(labels, values)
plt.title('Total Objects per Class')
plt.xticks(rotation=45, ha='right')
# 2. 各子集类别分布
plt.subplot(2, 2, 2)
for subset, counts in stats['sets'].items():
plt.bar(counts.keys(), counts.values(), alpha=0.5, label=subset)
plt.title('Objects per Class by Subset')
plt.legend()
plt.xticks(rotation=45, ha='right')
# 3. 各子集文件数量
plt.subplot(2, 2, 3)
plt.bar(stats['files_count'].keys(), stats['files_count'].values())
plt.title('Number of Files per Subset')
# 4. 每图像物体数量分布
plt.subplot(2, 2, 4)
for subset, counts in stats['objects_per_image'].items():
plt.hist(counts, alpha=0.5, label=subset, bins=20)
plt.title('Objects per Image Distribution')
plt.legend()
plt.tight_layout()
if save_path:
plt.savefig(save_path, bbox_inches='tight', dpi=300)
plt.show()
if __name__ == '__main__':
# 使用示例
LABEL_ROOT = 'path/to/your/dataset/labels' # 修改为你的labels目录路径
CLASS_NAMES = ['person', 'car', 'bicycle', 'dog', 'cat'] # 你的类别名称列表
# 分析数据集
stats = analyze_yolo_dataset(LABEL_ROOT, CLASS_NAMES)
# 打印基本统计信息
print("=== 数据集统计摘要 ===")
print(f"总标签文件数: {sum(stats['files_count'].values())}")
print(f"总标注对象数: {sum(stats['total'].values())}")
print("\n=== 各类别统计 ===")
for class_name, count in stats['total'].items():
print(f"{class_name}: {count}")
# 可视化结果
visualize_stats(stats, save_path='dataset_stats.png')
# 保存完整统计结果
with open('dataset_stats.json', 'w') as f:
json.dump(stats, f, indent=2)
3.1 脚本核心功能解析
这个增强版脚本提供了远超基础统计的功能：
-
多维度统计 ：
- 按子集(train/val/test)分别统计
- 总类别分布
- 每个子集的文件数量
- 每张图像的物体数量分布
-
可视化输出 ：
- 自动生成包含4个子图的统计图表
- 支持保存为高清图片
-
灵活配置 ：
- 支持自定义类别名称映射
- 自动处理不同子集命名(val/valid)
- 容错处理无效标签行
-
数据持久化 ：
- 将完整统计结果保存为JSON文件
3.2 使用说明
要使用这个脚本，你只需要：
- 修改
LABEL_ROOT变量为你的数据集labels目录路径 - 提供
CLASS_NAMES列表，按class_id顺序对应你的类别名称 - 运行脚本，将自动生成统计结果和可视化图表
输出示例：
=== 数据集统计摘要 ===
总标签文件数: 1258
总标注对象数: 8452
=== 各类别统计 ===
person: 4231
car: 2856
bicycle: 987
dog: 278
cat: 100
4. 从统计结果到模型优化
获取标签统计信息只是第一步，更重要的是如何利用这些信息优化模型训练。下面我们探讨几种常见场景及其解决方案。
4.1 类别不平衡问题解决方案
当统计显示某些类别样本过少时，可以考虑：
数据层面：
- 针对性采集更多少数类样本
- 应用类别特定的数据增强：
from albumentations import ( Compose, RandomBrightnessContrast, HueSaturationValue, RGBShift, Blur, MotionBlur, MedianBlur ) # 少数类专用增强管道 minority_aug = Compose([ RandomBrightnessContrast(p=0.8), HueSaturationValue(hue_shift_limit=20, sat_shift_limit=30, val_shift_limit=20, p=0.8), RGBShift(r_shift_limit=25, g_shift_limit=25, b_shift_limit=25, p=0.8), Blur(blur_limit=3, p=0.5), MotionBlur(blur_limit=5, p=0.5) ]) - 使用过采样技术复制少数类样本
算法层面：
- 调整类别权重：
# YOLOv8 配置文件 loss: cls: 1.0 # 分类损失权重 obj: 1.0 # 目标存在损失权重 box: 1.0 # 边界框损失权重 cls_pw: 1.0 # 分类正样本权重 obj_pw: 1.0 # 目标存在正样本权重 fl_gamma: 0.0 # Focal Loss gamma参数 - 采用Focal Loss等对难样本加权的损失函数
4.2 标注质量检查
统计结果还能帮助发现标注质量问题：
- 空标签文件 ：大量标签文件为空可能意味着漏标
- 异常物体数量 ：某些图像包含异常多的物体可能标注有误
- 类别混淆 ：某些类别数量异常少可能是标注时混淆了相似类别
针对这些问题，可以：
- 编写质量检查脚本：
def check_label_quality(label_root, max_objects=50): """检查标签质量问题""" issues = [] for subset in ['train', 'val', 'test']: subset_path = os.path.join(label_root, subset) if not os.path.exists(subset_path): continue for label_file in os.listdir(subset_path): if not label_file.endswith('.txt'): continue file_path = os.path.join(subset_path, label_file) with open(file_path, 'r') as f: lines = f.readlines() # 检查空文件 if not lines: issues.append(f"空标签文件: {file_path}") continue # 检查异常多的物体 if len(lines) > max_objects: issues.append(f"过多物体({len(lines)}): {file_path}") return issues - 对问题样本进行人工复核
- 建立标注规范文档，统一标注标准
4.3 数据集划分策略优化
标签统计可以帮助优化数据集划分：
- 确保每个子集(train/val/test)的类别分布与整体一致
- 对稀有类别采用分层抽样，保证每个子集都包含足够样本
- 避免某些类别只出现在训练集或验证集
实现示例：
from sklearn.model_selection import StratifiedKFold
def stratified_split(image_paths, label_paths, class_distribution, n_splits=5):
"""基于类别的分层数据集划分"""
# 为每张图像计算其主要类别
image_classes = []
for label_file in label_paths:
with open(label_file, 'r') as f:
lines = f.readlines()
if not lines:
image_classes.append('empty')
continue
# 统计当前图像中各类别数量
class_counts = defaultdict(int)
for line in lines:
class_id = line.strip().split()[0]
class_counts[class_id] += 1
# 确定主要类别
main_class = max(class_counts.items(), key=lambda x: x[1])[0]
image_classes.append(main_class)
# 使用分层K折交叉验证
skf = StratifiedKFold(n_splits=n_splits)
for train_idx, val_idx in skf.split(image_paths, image_classes):
yield [image_paths[i] for i in train_idx], [image_paths[i] for i in val_idx]
更多推荐
8
0- 0
已为社区贡献55条内容
所有评论(0)