FairMOT 模型性能现状与问题总结

技术文档

1、总结

• 短期目标：先训练好FairMOT的形态检测分支的性能，暂时未对跟踪性能有所要求。
• 当前通过实验确认的事项有：
  
  • 用10张图片训练FairMOT使其过拟合，模型可以收敛，验证了模型结构理论上可行；
  • "lie" 标签数量有限，不足以使得模型获得对"lie"特征较好的检测能力；
  • 模型性能现状：
    
    • 对于"stand\sit\half-lie"检测效果较好，对于"lie"漏检较多，尤其是完全躺倒动作。
    • 检测mAP=0.175，更多的实验细节见 FairMOT_Hik实验记录
    • demo 见 10.0.10.56： /ssd01/wanghuijiao/FairMOT/output/output_video_E14_/e14_10_hik5_ct0.1_dt0.2_nms0.2.mp4

2、模型性能

2.1 人体形态检测精度

• 目前性能最好的精度指标如下：

# E14  test on AVA.val，iou_threshold = 0.5
+------------+-------+-------+--------+-------+
| class      | gts   | dets  | recall | ap    |
+------------+-------+-------+--------+-------+
| stand      | 15900 | 35899 | 0.724  | 0.255 |
| sit        | 11449 | 35135 | 0.803  | 0.217 |
| squat      | 0     | 0     | 0.000  | 0.000 |
| lie        | 466   | 17453 | 0.861  | 0.022 |
| half_lie   | 891   | 14388 | 0.687  | 0.033 |
| other_pose | 0     | 0     | 0.000  | 0.000 |
| person     | 28706 | 60445 | 0.828  | 0.349 |
+------------+-------+-------+--------+-------+
| mAP        |       |       |        | 0.175 |
+------------+-------+-------+--------+-------+

2.2 跟踪性能

• 由于目前FairMOT的Re-ID分支未参与训练，因此，跟踪部分近似于退化成Sort算法（仅用IOU匹配，Re-ID匹配失效）。所以跟踪现状为：
  
  • 当漏检（如躺倒，四肢着地）时，易发生ID switch。
  • 相比原始FairMOT仅跟踪站立姿态，当前模型对于轻度姿态变化如弯腰、坐姿下，也能跟踪的较好。

3、存在的问题

• 检测分支对于"lie"形态检测性能不佳，在当前使用的三种数据集上训练无法得到很好的结果。
• Re-ID分支稍后的训练缺乏同时包含形态、ID标签的数据集，目前能同时训练的仅AVA数据集，曼孚数据集和自标的实测数据无法用于训练Re-ID分支。

4、下一步计划

• 调研更多的公开数据集，寻找符合需求的数据集。
• 尝试数据增强，对数量少的"lie"、"squat"标签进行增强。
• 本周尝试了weighted sampler，但并未调试成功，下周继续调试一下。