CVAT使用说明

技术文档

0. 前言

• 参考
  
  • CVAT官网文档
  • CSDN系列笔记
• CVAT使用教程：数据筛选、基本标注、半自动标注、标签导入、多人协同标注流程、使用小技巧

1. 注册

• 第一次使用CVAT时需要注册，从此进入登录/注册页面
• 
• 用户注册完就可以去创建标注任务了

2. 基本标注

2.1 创建Task

• 登录后会看到如下图界面，CVAT的标注最小单位是Task，每个Task为一个标注任务。点击Task按钮可以看到已创建的task, 点击创建新task。
  
• 创建新任务的页面如下，按照如下标识的步骤，第一步填写任务名称，要关联的Project名称（可选），第二步设置标签，第三步选择标注数据来源，第四步选择高级设置参数，第五步提交。
  
• label 标签详解
  
  • 添加label标签有两种模式：Raw和Constructor，Constructor是可以逐一添加、调整label设置的，设置新增标签名称、颜色、属性等。假如要使用筛选功能，可在此处添加“selected”标签，后续可根据此标签对标注数据进行筛选。
  • 
  • Raw则是可以一键复制所以label设置的json格式的文件，此功能在多个任务对应标签一致时，可以很方便的设置多个标签。Raw示例内容如下图所示，json内容可以通过Copy按钮复制内容用于新任务label设置，粘贴后点击Done保存当前设置，Reset则是维持原来的设置，比如新任务中某标签颜色改变，更改后发现新设置不合适，Reset可以一键还原原始设置。
  • 

• 选择标注数据来源

  • 上传标注图片时，可以从Windows下上传，也可以用“Connected file share”从10.0.40.92服务器的/ssd/data/cvat位置读取数据，本教程推荐优先使用从服务器读取数据的方式，此方式方便快捷，可以迅速读取大批量数据。另外两种分别是输入url链接和云存储，本教程不推荐使用。
    

• 高级配置 Advanced configuration很多参数目前阶段用不到，以下仅对几个常用的参数进行说明：

  • 
  • Use zip chunks: 针对视频数据，压缩成zip格式
  • Use cache: 数据缓存
  • Image quality: 用于指定上传的图片质量，当高分辨率图片上传太慢时可以降低分辨率提速，但上一步选择从服务器读取数据的话，图片读取速度会大大提升。
  • Overlap size：把目前的数据分成N个Job进行标注时，每个Job之间重复的帧数；
  • Segment size: 把目前的数据分为N个Job，N就是这里的值，主要用于图片太多，需要多个人一起标注的场景，每个人标一个Job，用此参数将数据分块；
  • Start frame: 采集的视频数据可能并不需要全部标注，比如目标帧可能仅仅只是其中第20-100帧，此参数用于设置从第几帧开始标；
  • Stop frame: 跟Start frame对应，这是结束帧位置；
  • Frame step: 可能不需要每帧都标，比如每隔M帧标一帧，M即是此处的值；
  • 其他参数暂不需要，详见官方文档。

2.2 Task列表页面

• 创建好的Task长这样
  
  • 
  • Actions中展开：
    
    • Upload annotations: 支持标签导入，比如在Crowdhuman公开数据集已有的人头和人体标签前提下，想继续标注此数据集中的车辆，用于人头、行人、车三类目标的训练集，就可以使用此功能将人头和人体标签导入，仅用CVAT标注车辆标签即可。具体操作移步本教程第5章“标签导入”。
    • Export task dataset: 下载数据集标签到本地。
    • Automatic annotation: 半自动标注，CVAT支持用预训练模型对数据集在线生成标签，如此可以大大提升标注效率，详见第6章“半自动标注”。
    • Export task: 支持导入或导出一个已有的task, 详见此处。
    • Move to project: 顾名思义，移动本task到另一个project中，移动过程中出现的标签属性变化和标签不匹配问题需要重新对应修改标签设置。
    • Delete: 删除本task。

2.3 Task内页

• Task内页如下图所示，在Task内页中，可以对task的一些基本信息进行修改，也可以对任务进行分配，多人协同标注时，查看标注进度等。图中标出的1-7项，说明如下：
  
  • 
    
    1. 任务名称，可修改
    2. 此Actions同2.2节的Actions说明
    3. Issue Tracker，一般不用，暂时不管
    4. 标签设置，可修改
    5. 将此Task分配给某个成员
    6. 将此Job分配给某个成员进行标注
    7. 确定质检员，由谁来质检标注数据质量

2.4 标注页面

• 点击相应Job，就会进入标注界面。界面分为5个部分，如下图所示：
  
  • 
  • Header: 主要包括CVAT的几个基本功能导航，以及当前用户相关设置, 基本功能包括Project\Tasks\Cloud Storages\Models，分别表示标注项目、标注任务、云存储、预训练模型。
  • Top panel: 主要包括图片导航（选择图片）、Menu、保存、撤销/恢复、全屏、标注结果统计、mode切换。
  • Workspace: 工作区，图像所在区域。
  • Controls sidebar: 控制相关命令侧边栏，包括设置图片大小、位置，创建shape、编辑tracks等标注基本功能。
  • Object sidebar: 标签相关侧边栏，包括两个选项（objects和labels），还有 appearance 相关设置（就是各类标签的展示颜色、透明度等）。
• Navigation 相关
  
  • CVAT提供选择上一帧、下一帧、以step为单位，跳转至下（上）一帧，顺序播放每一帧、跳转至开始、结尾帧等功能，具体如下所示：
  • 
  • 选中帧后，要选择图像的位置以及缩放有以下几个基本操作：
    
    • 移动图像/选择中心位置：使用第一张图的选项。
    • 另外两个功能是：使图像适应屏幕大小/选择一块区域放大。
    • 

2.5 标注小技巧

• 标注过程中的快捷键可以省很多力气，以下是比较常用的几个，更多请见官方文档此处：
  
  • 保存： Ctrl + S
  • 删除： Delete
  • 缩放：鼠标滚轴，往上放大，向下缩小
  • 拖动：鼠标左键点击并拖动图片，调整位置
  • 下一帧：F
  • 上一帧：D
  • 复制框：Ctrl + C
  • 粘贴框：Ctrl + V
  • 重复上一次标注框参数：N，比如连续标一类头框，那么每次重复标时按N可以直接标下一个头框
  • 对选定对象连续标注接下来所有帧内此对象：Ctrl + B
  • 转换标签：Ctrl+(0..9)

2.6 多人协同

• CVAT的多人协同功能说明
  
  1. 标注任务分配
     
     • 
  2. 标注进度更改与查询
     
     • 点击Job进入到标注页面下可以对当前Job的状态进行修改，重新开启Open the task、标注结束Finish the job、请求质检Request a review
     • 
     • 上一步操作对应更改job的状态会在如下，Status显示的三种状态分别是：正在标注annotation、标注完成请求质检validation、完成标注与质检completed。
     • 

2.7 数据质检

• 质检

  • 通过 Request a review 发起数据质检需求，并将质检分配给质检员来进行质检。
  • 
  • 之后，Job状态跳转至validation状态，质检员会用Review模式打开对应任务。质检过程中，有一个Issue工具可以标注质检过程发现的问题。
    
    • 通过点击Controls sidebar的以下图标开一个Issue
    • 
    • 然后点击图片发生错误的位置, 点击鼠标左键拖动来高亮此区域，并在框中描述问题。
    • 
    • 标注后的所有issue会出现在Issue一栏
    • 
    • 当所有问题标注完后，保存并提交
    • 
    • 提交页面如下，你会看到一个包含验证统计数据的表单，在这里你可以给出一个工作评估，并选择进一步的行动:
      
      • 接受：将工作的状态改为完成。
      • 下一位评审：将工作传递给另一个用户进行评审。
      • 拒绝：将作业的状态更改为注释。
    • 
    • 在审查之后，其他用户将能够看到问题，对每个问题发表评论，并将问题的状态更改为已解决。

• 解决问题

  • 检查之后，您可能会在对象侧栏的issues选项卡中看到问题。
    
    • 选择对应问题，修改后点击Resolve表示此问题已修改
    • 
    • 之后在Issue栏可以看到问题已解决。
    • 
    • 对问题修改不满意的话也可以Reopen此问题。
    • 

3. 数据筛选

3.1 前言

• 目标：对得到的数据进行筛选。

• 常见场景：

  • 采集了一系列数据，需要判断哪些数据需要标注
  • 通过数据增强策略生成了一批数据，需要手动查看数据生成数据的质量

• 实现路径：

  • 思路：基于 CVAT 的图像分类标注功能实现。
  • 具体实现：使用 CVAT 中的 Tag Annotation 模式。

3.2 准备工作

• 目标：创建数据筛选所需的 CVAT task。

• 目标：构建 CVAT task，导入需要筛选的数据，包括两个二分类类别，类别名分别为 selected（表示选中本图）和 igore （表示忽略本图）。

• 注意：本部分内容属于 CVAT 的基本使用，有其他相关章节介绍细节，因此本文不详细介绍。

3.3 数据筛选具体操作

• 使用 Tag annotation 进行数据标注，官方教程可参考这里。

• 第一步：切换标注模式，如下图所示。

  

• 第二步：标注。

  • 前后帧切换与其他模式相同，本文不详细描述。
  • 选择帧可通过键盘数字0-9实现，标签与快捷键对应关系为 Key 1 代表键盘中的1，可参考下图所述。
  • 请注意，此处支持的标签，就是在创建 CVAT task 时定义的。

  

• 第三步：导出标注结果。

  • 导出标注结果需要在 CVAT Task 界面中进行，需选择所需导出的格式以及是否导出图片，如下图所示。

  

4. 半自动标注

• 单张半自动标注设置
  
  • 
  • 第一步，点击魔法棒，根据标注任务选择AI Tool，以目标检测为例，选择Detectors
  • 第二步，选择目标检测模型，目前库中有在COCO80类上预训练的YOLO v3和Mask R-CNN模型，如果之后有进一步想要支持的预训练模型，可以参考官方教程进行添加（这一功能的教程会在下一阶段给出，目前正在开发中）
  • 第三步，添加目标标签，左边是预训练模型提供的标签名称，右边是task设置的标签，选择相近的标签内容左右对应即可。最后点击 Annotate 键实现半自动标注。
• 一键半自动标注整个数据集
  
  • 在Task列表页面下，点击目标Task对应的Actions，按下面图示操作步骤即可对整个数据集进行半自动标注。
  • 
  • 

5. 标签导出与导入

导出

• CVAT支持导出以下格式:
  
  • PASCAL VOC
  • (VOC)Segmentation mask
  • YOLO
  • COCO
  • TFRecord
  • MOT
  • LabelMe 3.0
  • ImageNet
  • Datumaro
  • Camvid
  • WIDRE Face
  • VGGFace2
  • Market-1501
  • ICDAR13/15
  • Kitti Raw Format 1.0
  • Sly Point Cloud Format 1.0
• 导出操作
  
  • 

导入

• 标签导入要求的格式与CVAT标签导出的格式一样，以下提供YOLO\COCO\VOC三种格式导入标签说明，更多格式请移步CVAT官方文档-Formats.

MS COCO导入格式

• 关于COCO标签文件的具体格式请参考此处, 以下仅对CVAT的导入标签时文件组织格式进行介绍。

└─ Dataset/
    ├── dataset_meta.json # a list of custom labels (optional)
    ├── images/
    │   ├── train/
    │   │   ├── <image_name1.ext>
    │   │   ├── <image_name2.ext>
    │   │   └── ...
    │   └── val/
    │       ├── <image_name1.ext>
    │       ├── <image_name2.ext>
    │       └── ...
    └── annotations/
        ├── <task>_<subset_name>.json # 比如instances_train2017.json
        └── ...

• 支持的标注：矩形框、多边形
• 导入步骤
  
  1. 准备标签文件和图片，有两种格式如下
     
     • 若上传文件包含图片，则按以上格式创建COCO格式的标签文件并压缩成*.zip文件
     • 若不包含图片，只需要准备一个单独的*.json标签文件并压缩为*.zip文件，将待标注图片直接放在10.0.40.92服务器的/ssd/data/cvat路径下
  2. 创建CVAT task，注意要创建所有需要导入的标签类别
  3. 点击Upload annotation按钮， 选择COCO 1.1格式，选择第一步准备的压缩包文件或*.json并上传
     

Pascal VOC导入格式

• 关于Pascal VOC的格式详解请参考此处, 以下仅对CVAT的导入标签时文件组织格式进行介绍。

• 导入的文件应为zip格式压缩包, 导入格式有两种

  • 导入的数据包含图片时，压缩包内文件格式如下：

    taskname.zip/
        ├── JPEGImages/
        │   ├── <image_name1>.jpg # 图片`*.jpg`应该与标签文件`*.xml`同名，CVAT会根据命名进行匹配
        │   ├── <image_name2>.jpg
        │   └── <image_nameN>.jpg
        ├── Annotations/
        │   ├── <image_name1>.xml
        │   ├── <image_name2>.xml
        │   └── <image_nameN>.xml
        ├── ImageSets/
        │   └── Main/
        │       └── default.txt
        └── labelmap.txt
        # labelmap.txt
        # label : color_rgb : 'body' parts : actions
        background:::
        aeroplane:::
        bicycle:::
        bird:::

  • 导入数据仅标签时，压缩包内格式为：

    taskname.zip/
    ├── <image_name1>.xml
    ├── <image_name2>.xml
    └── <image_nameN>.xml

• 关于图片与标签文件匹配时，有两种匹配模式：
  
  • 全名匹配，针对图片数据，会匹配图片和标签文件的全名
  • 按照帧序号匹配，针对视频数据，会匹配图片和标签文件的帧序号部分
• 导入步骤
  
  1. 按上述格式准备标签文件，待标注图片直接放在10.0.40.92服务器的/ssd/data/cvat路径下
  2. 创建CVAT task，注意要创建所有需要导入的标签类别
  3. 点击 Upload annotation按钮， 选择PASCAL VOC 1.1格式，选择上一步得到的标签压缩包文件并上传
     

YOLO导入格式

• YOLO导入标签的文件组织格式如下：

archive.zip/
    ├── obj.data
    ├── obj.names
    ├── obj_<subset>_data # subset取值train或valid
    │   ├── image1.txt # 每个标签文件`*.txt`与对应的图片`*.jpg`要求同名，比如`frame_00001.txt`对应`frame_00001.jpg`
    │   └── image2.txt
    └── train.txt # 图片路径
    # subsets取值train或valid
    # train.txt、valid.txt 内容示例:
    obj_<subset>_data/image1.jpg # 每个标签文件`*.txt`与对应的图片`*.jpg`要求同名，比如`frame_00001.txt`对应`frame_00001.jpg`
    obj_<subset>_data/image2.jpg
    # obj.data内容示例: 
    classes = 3 # optional
    names = obj.names
    train = train.txt
    valid = valid.txt # optional
    backup = backup/ # optional
    # obj.names存放类别信息，内容示例:
    cat
    dog
    airplane
    # image_name.txt标签文件内容示例:
    # label_id - obj.names文件中类别序号
    # cx, cy - bbox中心点相对坐标，cx = bbox中心点像素坐标x/图像宽度，cy同理
    # rw, rh - bbox的相对宽高，rw = bbox像素宽度/图片宽度，rh同理
    # label_id cx cy rw rh
    1 0.3 0.8 0.1 0.3
    2 0.7 0.2 0.3 0.1

• 导入的文件应为zip格式压缩包，标签与图片匹配有两种模式：
  
  • 全名称匹配：图片和标签文件名称匹配，此种针对上传数据是图片格式
  • 帧序号匹配：此种针对上传数据是视频格式，比如帧图片命名为<number>.jpg
• 导入操作步骤
  
  1. 按以上格式准备标签文件
  2. 打包标签文件，cat train.txt | while read p; do echo ${p%/*/*}/labels/${${p##*/}%%.*}.txt; done | zip labels.zip -j -@ obj.names
  3. 创建一个CVAT task, 注意要创建所有需要导入的标签类别，待标注图片直接放在10.0.40.92服务器的/ssd/data/cvat路径下
  4. 点击 Upload annotation按钮， 选择YOLO 1.1格式，选择上一步得到的标签压缩包文件并上传