AU RCNN评估报告

实验报告

0. 前言

• 本报告旨在评估AU RCNN算法性能，判断其是否满足项目情绪判断需求
• 本报告给出了AU-RCNN算法在BP4D和DISFA数据集上：
  
  • 精度
  • 可视化DEMO
  • 调试过程问题总结。
• 代码相关
  
  • 服务器：10.0.10.56
  • 代码环境：whj_AURCNN
  • 项目路径：/ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/
• 结论：
  
  • 基于AU的表情识别算法的应用技术总体而言还不够成熟，AU单元之间缺少关联性，导致AU_RCNN算法单独AU单元精度看似很高，但是AU组合进行表情判断时精度严重下降，对于happy表情的识别准确率只有37.2%，对应误检率为15.6%。

1. 性能评估

1.1 AU精度

• BP4D 数据集结果
  
  • 测试集：BP4D_3_fold/id_test_3.txt
  • 结果文件：/ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/result/resnet/BP4D_3_fold_3/evaluation_split_3_result_test_mode.json

- 注：论文结果摘取自Table 4, 结果保留一位小数（已四舍五入）

1.2 happy表情精度

• 背景：由于AU6和AU12是判断happy表情的两个AU单元，且在AU精度测试中，AU6和AU12精度较高。因此，为探索AU_RCNN算法对于表情的识别效果，进行如下表情精度测试。
• happy表情准确率
  
  • 定义： $$\frac{算法实际同时检测出AU6和AU12的图片数量}{同时存在AU6和AU12标签(Groudtruth)的图片数量} *100\%$$
• happy表情误检率
  
  • 定义： $$\frac{算法实际同时检测出AU6和AU12的图片数量}{仅包含AU6或AU12标签(Groudtruth)的图片数量}*100\%$$
• BP4D 结果 & DISFA 结果
  
  • 测试集： BP4D_3_fold/id_test_3.txt & ``

2. DEMO

• 代码地址：
  
  • 10.0.10.56：/ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init
• demo地址： /ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/demo/AU_RCNN_test_demo_10fps.mp4
  
  • 对应权重文件为： /ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/pretrained_model/DISFA_dataset_trained_model/resnet101/3_fold_3_resnet101_linear_model_snapshot.npz

3. 复现问题记录

• 关键点检测算法缺陷：
  
  • 对于侧脸以及部分脸部缺失的情况效果差，会出现无法检测到脸部进而报错，运行中止；针对该问题，已将有效值判断加入代码中。但是关键点算法本身采用Dlib库自带面部特征点检测算法，无法进行优化，倘若后期优化，可考虑更换此算法。

• 多AU关联检测精度极低：

  • 目前了解到的AU检测算法，评估指标为单个AU精度，当AU映射到表情时，需要多个AU进行组合，此时组合AU的精度（即表情）会急剧下降，无法用于表情识别。
  • 单AU检测精度有待提升。不同AU之间精度相差较大，数值分布在43.7%-87%之间。对于后续表情识别任务而言，组合精度虽与多个单AU精度无直接联系，但精度与AU组中最低精度有关，因此，需要进一步提高其他精度较低的AU的检测性能。
  • 模型的鲁棒性差，在数据集上测试精度高，但对于数据集外的实际图片精度下降严重。

• demo

  • demo有个bug是，有些地方人脸部分与背景错位，这是因为dlib库检测到输入图片人脸的时候会进行仿射变换，将侧脸或者其他角度的人脸对齐到正脸的位置。而后续添加heatmap（AU响应信息）的时候需要把剪切下来的人脸重新贴回到输入图片上，这时候除了正脸角度（对齐前后无差别）其他侧脸角度都会存在对不齐的情况，由于对齐操作不可逆，因此该Bug无法消除。
• 个人感受
  
  • AU算法仍处于起步阶段，不适合工业部署，对于模型的改进需要大量时间和精力进行试错，比较适合科研储备。

4. 算法提升点or成果产出思考

• 一些可尝试提高的点
  
  • 在模型中加入旁路分支，用于学习AU之间的关联性，实现端到端的表情识别。

附录：操作步骤

• 根据官方文档, 配置环境, 同样提供了我的复现环境的requirement.txt做参考，路径为：/ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/requirements_whj.txt
• 项目路径为/ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/，虚拟环境为whj_AURCNN。首先在终端激活虚拟环境，并cd到项目路径中，以下每一项测试的当前路径，若无特殊说明均默认为项目路径：

conda activate whj_AURCNN
cd /ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/

• 根据测试视频生成demo:
  
  • run_demo.sh 脚本的71-78行命令

cd ./demo
./run_demo.sh

• 用摄像头在线测试（仅提供代码，需要本地调试）
  
  • run_demo.sh 脚本的61-68行命令

cd ./demo
./run_demo.sh

• 计算AU准确率
  
  • 备注：在/ssd01/wanghuijiao/AU_RCNN/AU_RCNN_init/result/resnet/DISFA_3_fold_3/eval_b50.log看运行过程输出信息
  • 需要手动将./img_toolkit/face_mask_cropper.py中65行解注释，第93行和143行从三个返回值改为两个（将第三个返回值注释掉），更改后的代码为：

Line65 key = key_prefix+ "/".join((rgb_img_path.split("/")[-3], rgb_img_path.split("/")[-2],rgb_img_path.split("/")[-1]))
Line93 return None, None, # None
Line143 return new_face, AU_box_dict, # rect

• 计算AU准确率命令：

cd ./all_shell_scripts
./evaluate.sh

• 计算happy表情准确率, 将--cal_acc值设为0

cd ./demo
./calculate_exp_acc.sh

• 计算happy表情误检率，将--cal_acc值设为1

cd ./demo
./calculate_exp_acc.sh