数据集发布教程

技术文档

前言

• 本文介绍“数据闭环工具”数据集发布功能使用步骤
• 数据集发布功能
  
  • 定义：由模型开发者先行准备规定格式的数据集，通过发布功能，将数据集信息添加进数据库的操作

使用步骤

1. 准备数据集

• 目前支持yolo\coco\cethik_seg三种数据集格式，具体格式见以下链接：
  
  • yolo格式定义
  • coco格式定义
  • cethik_seg格式定义
• 数据集命名格式
  
  • {传感器}\_{目标类别}\_{任务类型}，如目标检测人头数据集为 RGB_head_detection，命名说明：
    
    • 传感器：表示由于获取图像时传感器的不同，造成图像所在光域的不同，目前有 RGB\IR （可见光\热红外）两种选项
    • 目标类别：检测的类别，或者分割的目标，比如“passable-area”或“head-car”等
    • 任务类型：按照视觉任务分，目标检测是 detection， 分割对应 segmentation， 分类任务是 classification（如有其他任务类型，模型开发者需要与框架开发者讨论后确定任务类型关键字）。

2. 准备配置文件

• 目前数据集发布脚本对于目标检测任务仅需要一个数据集发布配置文件，但对于分割任务需要数据集输入配置文件和数据集发布配置文件两个。下一版本会统一。请模型开发人员根据需求自行根据任务类别选择准备以下文件：
  
  • 数据集输入配置文件：记录数据集根目录绝对路径和各子文件夹、文件等命名格式，是待发布数据集本身文件的信息。
  • 数据集发布配置文件：主要用于记录将数据集发布到数据库时需要的必要信息，如数据集任务类型、适用场景、发布人、发布时间等等信息。

数据集输入配置文件

• 命名格式为{dataset_name}_input.json，放在数据集根目录下。
• 以cethik_seg分割数据集为例，数据集输入配置文件内容示例如下：

{
  "data_root": "/ssd01/wanghuijiao/tdlp/test/cethik_seg_example", // 数据集根目录的路径
  "image_dir": "images", // 原始图片根目录相对路径
  "masks_dir": "labels",  // 标签图片根目录相对路径
  "sample_list_file_format": "{}.txt",  // 样本列表模版相对路径，在'{}'中使用 train/val/test 替换，分别表示训练集、验证集、测试集对应的样本列表。
  "annotation_file": "categories.json"  // 类别信息文件相对路径
}

• 准备此文件时，替换上一步文件内容的键值，准备数据集输入配置文件，并放在对应数据集根目录下。

数据集发布配置文件

• 命名格式为{dataset_name}_release.json，放在数据集根目录下。
• 以cethik_seg分割数据集为例，数据集输入配置文件内容示例如下：

{
    "name": "RGB_Passage-area_Segmentation", # 数据集名称
    "version": "v1.0", # 数据集版本号
    "task_type": "Segmentation",  # 任务类型，比如目标检测(Object_Detection)、分割(Segmentation)
    "scene": "Available pass area", # 应用场景描述
    "anno_type": "cethik_seg", # 标签格式，目前支持“yolo” 、“coco”、“cethik_seg”，注意是小写
    "number": {
        "train": 100,
        "val": 100,
        "test": 100
    }, # train\val\test包含的标签数量
    "size": "1GB",  # 数据集大小
    "storage_location": "/ssd01/wanghuijiao/tdlp/test/cethik_seg_example", # 数据集文件夹所在的绝对路径
    "release_person": "Wanghuijiao", # 发布人姓名全拼
    "release_time": "2021/11/11", # 发布时间:{年}/{月}/{日}
    "description": "This is used for ..." # 数据集描述，比如详细用途说明、版本间的改动或者对此数据集的其他补充说明等信息
}

3. 运行发布脚本

• 脚本获取

wget https://git.cethik.com/wanghuijiao/tdlp/-/tree/main/tools/dataset_release.py

• 运行脚本

python dataset_release.py \
    --dataset_release_json_path /ssd01/wanghuijiao/tdlp/test/cethik_seg_dataset_release.json \
    --dataset_input_json_path /ssd01/wanghuijiao/tdlp/test/cethik_seg_dataset_input.json

• 参数说明
  
  • dataset_release_json_path：数据集发布配置文件绝对路径
  • dataset_input_json_path：数据集输入配置文件绝对路径，目标检测任务不需要用到此项，运行脚本时不加此参数即可。