目标检测-数据集汇总

快速调研

前言

• 选择原则
  
  • 不能下载的不看
  • 不符合应用场景的不看
  • 数据质量不好的不要
• TODO
  
  • 罗列数据集，搞清楚，名称、数据量、标签类别、应用场景以及其他
  • 格式转换脚本：选择统一的格式，对所有数据集都转换到规定格式，比如yolo格式。
  • 标签可视化脚本
• 预关注数据集
  
  • Object365
  • COCO
  • OpenImages
• 要求
  
  • 对数据集积累，长期维护repo
  • 新任务（检测新类别or新的应用场景）来时，快速将模型应用到新任务上

COCO

• 数据集简介

  • person 版标签统计
    

    train: 
    Person ->   box/img
    validation: 
    Person ->   box/img
    test: 
    Person ->   box/img

Object365

• 数据集简介

  • 365 类
  • 2019版
    
    • 637K 图像，10,101K 框，15.8 框/图像
    • 包括了人、衣物、居室、浴室、厨房、办公、电器、交通、食物、水果、蔬菜、动物、运动、乐器14个大类，每一类都有数十个小类。（human and related accessories,living room, clothes, kitchen, instrument, transportation,bathroom, electronics, food (vegetables), office supplies,and animal）
  • 2020版
    
    • 1800K 图像，29,000K 框， 14.8 框/图像
    • 包括了人、衣物、居室、浴室、厨房、办公/医疗、 电器、交通、食物 、动物、运动/乐器11个大类，每一类都有数十个小类。
  • 下载链接
  • 目前关注的标签(2019版)： human(1)\car(9)\truck(81)
  • person 版标签统计
    

    train: 
    Person ->   box/img
    validation: 
    Person ->   box/img
    test: 
    Person ->   box/img

Open Images V6

• 数据集简介

  • 数据量、用途：共有约9百万图像。可用于图像分类、目标检测、可视化关联检测（Visual relationship detection）、实例分割和多模态图像描述（声音、文本、鼠标跟踪（Mouse traces）等）。训练集9,011,219张图像，验证集41,620图像，测试集125,436张图像。下面仅关注目标检测任务相关。
  • 目标检测任务：有14.6M bbox框、600类目标、1.74M图像，平均每张图像包含8.3个目标。90%的图像是专业标注员通过谷歌接口手工标注的。剩下10%是半自动标注,人工验证。
  • 
  • 场景：
  • 暂时关注的标签层级：
    
    • Person：Man、Woman、Boy、Girl -> Body part: Human eye、Skull、Head、Hair、Human face、Human mouth、Human ear、Human head、 Human hand、Human foot、Human arm、Human leg、Human beard
    • Weapon: Bomb\Missue\Sword\Handgun\Axe\Tank\Shotgun\Knife\Dagger\Cannon\Bow and arrow\Rife
    • Vehicle -> Land Vehicle: \Unicycle\Truck\Train\Tank\sedway\Motorcycle\Golfcar\BUs\Snowmobile\ -> Car: Wheelchair\Taxi\Van\Limousine == Bicycle: Bicycle Wheel\Cart\Ambulance
  • person 版标签统计
    

    train: 
    Person -> 1034721/248384 box/img
    validation: 
    Person -> 16753/7144 box/img
    test: 
    Person -> 53385/21688 box/img

• 数据下载

  • 教程参考open-images-downloader

• 数据标签格式

  • 标签示例，每一行代表一个框

        ImageID,Source,LabelName,Confidence,XMin,XMax,YMin,YMax,IsOccluded,IsTruncated,IsGroupOf,IsDepiction,IsInside,XClick1X,XClick2X,XClick3X,XClick4X,XClick1Y,XClick2Y,XClick3Y,XClick4Y
        000002b66c9c498e,xclick,/m/04bcr3,1,0.312500,0.578125,0.351562,0.464063,0,0,0,0,0,0.312500,0.578125,0.385937,0.576562,0.454688,0.364063,0.351562,0.464063
        3550e6ef5d44d91a,activemil,/m/0220r2,1,0.022461,0.865234,0.234375,0.986979,1,0,0,0,0,-1.000000,-1.000000,-1.000000,-1.000000,-1.000000,-1.000000,-1.000000,-1.000000
        880b4b00f75260ec,xclick,/m/0ch_cf,1,0.641875,0.693125,0.818333,0.878333,1,0,0,0,0,0.641875,0.643125,0.678750,0.693125,0.818333,0.842500,0.871667,0.878333
        b17e3f11cb77c7c8,xclick,/m/0dzct,1,0.510156,0.664844,0.337632,0.623681,1,0,0,0,0,0.573438,0.510156,0.664844,0.587500,0.337632,0.438453,0.468933,0.623681
        [...]

  • ImageID: box所在的图像

  • Source: box是如何创建的：
    
    • xclick 表示手工创建，标注者点击目标所在框上下左右四个边的坐标。V6发布了手工标注时按下的真实4个点的坐标。
    • activemil 半自动标注，算法先标，人工检验，IOU>0.7
  • LabelName: 这个框对应的MID，即类别值。
  • Confidence: 通常为1
  • XMin, XMax,YMin,YMax：box的坐标值，已归一化，取值范围[0,1]，XMin=0表示box最左边，XMax=1，表示最右边，YMin=0,最上边，YMax=1表示最下边
  • XClick1X,XClick2X,XClick3X,XClick4X,XClick1Y,XClick2Y,XClick3Y,XClick4Y：标注的真实四个点的坐标
  • 属性标签：
    
    • IsOccluded：表示目标被另一个物体遮挡
    • IsTruncated：表示目标有部分延展至图像外部
    • IsGroupOf：表示box框内有超过5个以上的实例，比如人群或者花海，基本上实例之间互相遮挡情况严重。
    • IsDepiction：表示目标是绘画出来的（比如卡通，或者画出来的物体，并非物理实例）
    • IsInside：表示从一个物体内部拍摄（比如建筑物或车内部）
  • 值1表示存在，0表示不存在，-1表示不知道（unknown）

• 脚本

  • 转换成yolo格式: open-images-downloader/convert_to_yolo.py
  • 标签可视化脚本：参考open-images-downloader/visualize.py