质量管理流程+标注流程v1

质量管理

0. To do list

• 将曼孚提供的已分割视频进行质量管理，及时反馈问题
• 动作标注，要求将其用 VOTT 工具标注为 AVA 数据集要求形式

1. 命名检查

• 检查标签和内容是否一致
  
  • 合格：标签和内容一致 + 动作完整且正确
  • 标签错误类型（多选）：
    
    • 光线错误(err_light)：与视频名称不符
    • 姿态错误(err_pose)：与视频名称不符
    • 衣着错误(err_sleeve)：与视频名称不符
    • 视角错误(err_view)：与视频名称不符
    • 遮挡错误(err_shelter)：与视频名称不符

2. 内容合规检查

• 分动作检查，完整动作标准规定+标注方法：待确定

  • 拿手机：从没拿 -> 拿起 -> 持有（2s)
  • 拿水杯：从没拿 -> 拿起 -> 持有（2s）
    
    • 拿东西标注方法：只标拿起的中间帧
  • 吃饭：从没吃开始，站+吃，坐+吃，各标一次
  • 喝水：从没喝开始，站+喝，坐+喝，各标一次
    
    • 标注方法：
  • 吃药：拿起药+拿起水杯+吃药吞服+
    
    • 标注方法：
  • 关门：起始帧、中间帧、结束帧（正面关门视频，动作结束帧框中需要截取门？）
  • 开门：
    
    • 开关门标注方法：起始帧、中间帧、结束帧各标一次
  • 磕碰：
  • 原地软倒：
  • 行进软倒：
  • 推倒：
  • 绊倒：

• 内容错误类型

  • 画面缺失(err_camera_lacking)：可能被遮挡，或由于摄像头角度没有拍摄到完整动作，评价标准是肉眼不能判断行为类别。
  • 视频缺失(err_action_lacking)：视频中的动作不完整，如摔倒视频中没有倒地画面（人摔倒一半视频就结束了），摔倒动作中刚一开始人就倒地了（没有摔的过程）。
  • 未知错误（err_unknown）：不属于以上任何标签or内容错误类型的错误。

3. 进行标注

• 每个完整动作需要标注四个三个方面的内容：

  • 姿态：关键帧中所有人物的姿态，包括目标对象和非目标对象。
    
    • 站(sit)
    • 坐(stand)
    • 蹲(squat)
    • 躺(lie)
    • 摔倒中间非站非躺的半躺（half_lie）
    • 其他姿势（other_pose）
  • 关键帧位置：是动作中间帧还是动作结束帧。
    
    • 中间帧(medium)
    • 结束帧(end)
  • 目标行为：需要标注关键帧中所有任务的目标行为，一般来说只有其中一个人物有目标行为，非目标对象只标姿态类（站坐躺蹲半躺）。
    
    • 原地软倒（stillfall）
    • 行进软倒(walkingfall)
    • 推倒(pushfall)
    • 绊倒(tripfall)
    • 拿手机(takephone)
    • 拿水杯(takecup)
    • 吃饭(eat)
    • 喝水(drink)
    • 吃药(medicine)
    • 磕碰(knock)
    • 关门(close)
    • 开门(open)

  • 质量管理：质量管理标签包括：

    • 合格（qualified）
    • 画面缺失(err_camera_lacking)
    • 视频缺失(err_action_lacking)
    • 光线错误(err_light)
    • 姿态错误(err_pose)
    • 衣着错误(err_sleeve)
    • 视角错误(err_view)
    • 遮挡错误(err_shelter)
    • 未知错误（err_unknown)

  • vott tags文件（08/20 已更新）

    "tags": [
    

    {
    "name": "qualified",
    "color": "#ff8c00"
    },
    {
    "name": "stand",
    "color": "#4894fe"
    },
    {
    "name": "sit",
    "color": "#4894fe"
    },
    {
    "name": "squat",
    "color": "#4894fe"
    },
    {
    "name": "lie",
    "color": "#4894fe"
    },
    {
    "name": "half_lie",
    "color": "#4894fe"
    },
    {
    "name": "other_pose",
    "color": "#4894fe"
    },
    {
    "name": "medium",
    "color": "#5db300"
    },
    {
    "name": "end",
    "color": "#70c400"
    },
    {
    "name": "err_remade_action_lacking",
    "color": "#e81123"
    },
    {
    "name": "err_useless",
    "color": "#e81123"
    },
    {
    "name": "err_name",
    "color": "#e81123"
    },
    {
    "name": "err_unknown",
    "color": "#e81123"
    }
    ],

4. 人体姿势标注说明举例

• 站
• 坐
• 蹲
• 躺
• 半躺（摔倒的中间状态）
• 其他姿势：不属于以上的任何姿势，比如弯腰