CVAT进行多人标注

技术文档

前言

• Why? 为什么要多人标注
• What? 解决什么问题
• How? 如何做
• 数据标注非常耗时，常常需要多个人对同一个数据集快速完成标注。在这个过程中，涉及到标注任务分配、进度管理、多人协同等问题，以下是用CVAT实现多人标注功能的操作步骤。

多人标注过程

1. 创建新Task

• 在创建新Task时，在Advanced configuration里进行任务量划分。如下图所示创建新Task（关于CVAT如何新建Task请见CVAT使用说明）。

  • 

  • 

• 通过在Advanced configuration里配置Segment size将整个Task划分为几个Job，其他几个影响划分结果的参数是Overlap Size、Start frame、Stop frame、Frame step。下面将详细介绍每个参数的含义。
  
  • 
  • Segment size: 使用此参数将一个大的数据集划分成几个小的Job, 例如将此参数设置为50，含义是每个Job包含50张图片。
  • Overlap Size: 每个Job之间重复几帧，方便关联上不同的Job, 比如在插值模式下，用Tracker对视频逐帧标注，重复几帧方便Tracker匹配上。
  • Start frame：表示开始的帧位置
  • Stop frame：结尾帧位置
  • Frame step：过滤图片帧，比如取值25，表示每25帧取一帧用来标注。

2. 分配任务和质检人员

• 打开新建的Task, 如下图，在图示1位置分配标注人员，图示2位置分配质检人员，下图是将不同的Job分配给不同的人进行标注或质检。
  
  • 
• 也可以将同一个Task内的所有Job一键分配给同一个人标注，但是Job的Assignee不会自动改变。
  
  • 
• 吐槽点：CVAT的任务分配功能仅仅只是在页面上显示分配结果（Assignee和Reviewer的人员姓名），并不会在个人账户提醒被分配了任务；也没有权限约束，即被分配给wanghuijiao的标注任务，yuanzurui也可以进行标注。所以分配者对任务进行分配后，需要通知标注人员，让其到相应的Task下查看并对个人的标注任务进行标注。

3. 标注

• 对个人任务对应的Job进行标注，标注操作教程详见此处
  
  • 

4. 提交

• 标注完成当前Job后，如下图点击Menu，提交Review。
  
  • 
• 在弹窗中选择Reviewer, 一般默认使用被分配的Reviewer，但也可以在此处自行选择另外的人进行Review.
  
  • 
• 点击Submit后Job的Status会改变为Validation状态，即等待Reviewer进行Review。
  
  • 

5. 质检

• 上一步是标注人员提交了Review, 以下是Reviewer进行质检。如下图，当标注有问题时，在左侧点击最下方图标，添加质检意见。
  
  • 
• 下图是添加质检意见的界面，在弹窗中输入质检意见，然后CVAT会自动统计意见数量。
  
• 质检完成后会有三种情况：
  
  • 质检不合格：选择Reject退回，让标注人员重新根据意见修改不合格的标注。 操作如下图：
    
    • 
    • 然后在Task页面上会显示Job的状态恢复成等待标注的annotation状态
    • 
  • 个人无法决定是否通过，点击Review next，选择另一个人重新质检。
    
    • 
    • 然后在Task页面上会显示Job的状态依旧是等待质检的validation状态
    • 
  • 质检合格：选择Accept，并提交
    
    • 
    • 然后在Task页面上会显示Job的状态变成completed的完成状态，至此，该Job标注任务结束。
    • 

6. 根据质检意见修改

• 在上一步中，假如质检不合格，如下图，需要标注人员针对意见重新修改标签。在意见标记处，对意见进行回复。
  
  • 
  • 修改后的意见状态如下所示：
  • 
• 对所有的意见回复完成后，重新进行第5步的操作，直至Job变成completed状态。