[关闭]
@khan-lau 2017-08-10T11:22:41.000000Z 字数 2983 阅读 1717

微模式图像识别引擎测试报告

测试报告

1. 测试场景

在已注册的头像库中识别出符合当前面部特征的人员身份

2. 测试目的

确保引擎的各项指标(逻辑准确性, 响应时间, 接口故障率, 引擎支持的最大特征库规模)

3. 测试规模

使用megaface的头像库作为基础库, 约67万2千人, 370万张照片.

4. 测试方法

在建好的头像库依次中混入n个特定测试人员的(n * 10)张不同照片, 并用预设好的照片检索出对应人员

刘昆提供同一场景 不同角度的照片, 眼镜可选 
李晶晶提供同一场景 不同角度照片, 眼镜可选
陈晓光提供不同场景 不同角度照片, 时间跨度 2015--2017, 眼镜可选, 其中有一张半侧脸做鬼脸的照片
李大伟提供不同场景 不同角度照片, 时间跨度 2006--2017
朱文娟提供不同场景 不同角度照片, 时间跨度 2013--2017
邵欣提供不同场景 不同角度照片, 时间跨度 2014--2017 眼镜可选, 其中包括孕期照片
曹旭提供不同场景 不同角度 不同发型 照片, 时间跨度 2015--2017

测试时参数, top10, 阈值50%.

5. 测试结果

是否符合预期的标记描述

O 成功
x 失败
- 成功, 但是受上一次结果影响

5.1 第一轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 1 1 93.8% 2.594 O
2 李晶晶 1 1 90.6% 2.873 O
3 陈晓光 1 1 94.9% 2.731 O
4 李大伟 1 0 2.294 X
5 朱文娟 1 1 85.4% 2.579 -
6 邵欣 1 1 91.2% 2.797 O
7 曹旭 1 1 94.6% 2.773 O

本轮测试中李大伟用于检索的照片是当前年龄的照片. 入库的照片是学生时期的照片
朱文娟用于检索的照片干扰因素较多

5.2 第二轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 2 2 93.6--93.8 2.147 O
2 李晶晶 2 2 90.6--93.4% 2.380 O
3 陈晓光 2 2 94.6--94.9% 2.359 O
4 李大伟 2 0 2.219 X
5 朱文娟 2 2 81.9--85.4% 2.218 -
6 邵欣 2 2 74.5--91.2% 2.267 -
7 曹旭 2 2 91.8--94.6% 2.387 O

本轮测试中李大伟用于检索的照片是当前年龄的照片. 入库的照片是学生时期的照片
朱文娟用于检索的照片干扰因素较多

5.3 第三轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 3 3 92.1--93.8% 2.111 O
2 李晶晶 3 3 90--93.4% 2.295 O
3 陈晓光 3 3 93.5--94.9% 2.385 O
4 李大伟 3 1 90.4% 2.213 X
5 朱文娟 3 2 81.9--85.4% 2.214 X
6 邵欣 3 3 74.5--93.1% 2.223 -
7 曹旭 3 3 91.8--94.6% 2.303 O

本轮测试中李大伟用于检索的照片是当前年龄的照片. 入库的照片是学生时期的照片
朱文娟用于检索的照片干扰因素较多

5.4 第四轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 4 3 92.1--93.8% 2.279 X
2 李晶晶 4 4 90--93.4% 2.467 O
3 陈晓光 4 4 93.5--94.9% 2.402 O
4 李大伟 4 2 90.2--90.4% 2.226 X
5 朱文娟 4 2 81.9--85.4% 2.249 X
6 邵欣 4 4 74.5--93.1 2.218 -
7 曹旭 4 4 91.8--94.6% 2.328 O

本轮测试中李大伟用于检索的照片是当前年龄的照片. 入库的照片是学生时期的照片
朱文娟用于检索的照片干扰因素较多

5.5 第五轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 5 4 92.1--93.8% 2.227 -
2 李晶晶 5 5 90--93.4% 2.454 O
3 陈晓光 5 5 93.5--94.9% 2.344 O
4 李大伟 5 2 90.2--90.4% 2.273 X
5 朱文娟 5 2 81.9--85.4% 2.313 X
6 邵欣 5 5 74.5--93.1 2.336 O
7 曹旭 5 5 91.8--94.6% 2.285 O

本轮测试中李大伟用于检索的照片是当前年龄的照片. 入库的照片是学生时期的照片
朱文娟用于检索的照片干扰因素较多

5.6 第六轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 6 5 92.1--93.8% 2.212 -
2 李晶晶 6 6 90--93.4% 2.344 O
3 陈晓光 6 6 93.5--94.9% 2.344 O
4 李大伟 6 2 90.4--92.6% 2.342 -
5 朱文娟 6 2 81.9--85.4% 2.262 X
6 邵欣 6 5 74.5--93.1 2.354 X
7 曹旭 6 6 91.8--94.6% 2.268 O

本轮测试中李大伟用于检索的照片是当前年龄的照片. 入库的照片是当前拍摄的照片
朱文娟用于检索的照片干扰因素较多, 用另一张图可以检索到全部6条记录

5.7 第七轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 7 6 92.1--93.9% 2.246 -
2 李晶晶 7 7 90--95.2% 2.439 O
3 陈晓光 7 7 83.2--94.9% 2.430 O
4 李大伟 7 3 90.4--92.6% 2.187 -
5 朱文娟 7 2 81.9--85.4% 2.248 X
6 邵欣 7 5 90.5--93.1 2.354 -
7 曹旭 7 7 91.8--94.6% 2.451 O

本轮测试中 陈晓光入库一张扮鬼脸的照片, 影响了其匹配率
朱文娟用于检索的照片干扰因素较多, 用另一张图可以检索到全部7条记录

5.8 第八轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 8 7 91.5--93.9% 2.246 -
2 李晶晶 8 8 90--96.4% 2.428 O
3 陈晓光 8 8 83.2--94.9% 2.445 O
4 李大伟 8 4 90.4--96.6% 2.187 -
5 朱文娟 8 2 81.9--85.4% 2.162 X
6 邵欣 8 6 90.5--93.1 2.510 -
7 曹旭 8 8 91.8--94.6% 2.392 O

朱文娟用于检索的照片干扰因素较多, 用另一张图可以检索到全部8条记录

5.9 第九轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 9 7 91.5--93.9% 2.203 X
2 李晶晶 9 9 90--96.4% 2.384 O
3 陈晓光 9 8 93.5--94.9% 2.332 -
4 李大伟 9 5 90.4--96.6% 2.259 -
5 朱文娟 9 2 81.9--85.4% 2.256 X
6 邵欣 9 6 90.5--93.1 2.199 X
7 曹旭 9 9 91.8--94.6% 2.229 O

朱文娟用于检索的照片干扰因素较多, 用另一张图可以检索到全部9条记录

5.10 第十轮测试

索引 人员 照片数 top10 匹配结果 top10匹配率范围 时长 是否符合预期
1 刘昆 10 7 91.5--93.9% 2.282 X
2 李晶晶 10 10 90--96.4% 2.360 O
3 陈晓光 10 9 93.5--94.9% 2.465 -
4 李大伟 10 5 90.4--96.6% 2.213 -
5 朱文娟 10 3 81.9--85.4% 2.206 -
6 邵欣 10 7 86.3--93.1 2.259 -
7 曹旭 10 10 91.8--94.6% 2.315 O

朱文娟用于检索的照片干扰因素较多, 用另一张图可以检索到9条记录

5.11 结论

与检索照片时期比较接近的入库照片成功率很高
面部偏转角度超过30度时, 识别率较低
做鬼脸会导致识别结果受影响
肥胖会导致识别结果受影响

在老人走失项目中, 如果为每个人录入多张照片, 可以提高识别率.
添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注