数据筛选功能开发

技术文档

前言

• 需求
  
  1. 对测试数据使用CVAT进行标注时，某些图片不符合需求，需要筛除过滤；此功能刘倚剑和袁组瑞均有提出需求；优先级高；
  2. 对公开数据集内个别标签感兴趣，比如coco80类，实际只需要person和car两类标签和对应图片；

• 功能实现思路

  • 针对需求一，只有CVAT格式有frame tag标签，所以只能先对xml过滤再转换为目标格式（yolo\coco）输出：
    a. 前提条件是在CVAT添加frame tag，导出cvat格式的xml标签文件；对xml文件根据frame tag关键字筛选，输出筛选后的filtered_xml文件；
    b. 将filtered_xml转为Object_detection_toolkit的内部数据格式，后续可通过Object_detection_toolkit的Adapter转换得到目标格式（yolo\coco）的标签文件。
  • 针对需求二，先转换为内部数据格式，再进行筛选，最后转换为目标格式（yolo\coco）输出：
    a. 将公开数据集整理为yolo\coco\hik格式，用Object_detection_toolkit的Adapter转换得到Object_detection_toolkit的内部数据格式；
    b. 对内部数据格式的标签文件根据类别关键字进行筛选。

• 功能拆分

  1. 对xml格式筛选
  2. xml格式转内部数据格式
  3. 对内部数据格式的标签筛选