@khan-lau
2017-07-17T13:14:13.000000Z
字数 1153
阅读 2355
在已登记在册声纹库中, 检索出符合当前特征的人员身份.
确保引擎的各项指标(逻辑准确性, 响应时间, 接口故障率, 引擎支持的最大特征库规模)
8台终端设备, 5人
社会化测试, 8台终端设备, 测试人数41人.
测试设备:
| 序号 | 设备 | 系统版本 |
|---|---|---|
| 01 | iPhone6 | iOS 10.3.2 |
| 02 | iPhone6s | iOS 10.3.2 |
| 03 | iPhone6sp | iOS 10.3.2 |
| 04 | HuaWei荣耀8 | Android 6.0 |
| 05 | Vivo Y11iw | Android 4.2.2 |
| 06 | Gigaset_GS57-6 | Android 5.1.1 |
| 07 | Macbook pro 2015 | MacOS 10.12.5 |
| 08 | Macbook pro 2015 | MacOS 10.12.5 |
测试人员录入30s语音建模, 创建11个身份, 然后进行语音识别, 每人每次递增30s声纹建模, 直到建模时间达到180s, 预期每次都能检索到其中前10个身份.
测试设备:
| 序号 | 设备 | 系统版本 |
|---|---|---|
| 01 | iPhone6 | iOS 10.3.2 |
| 02 | iPhone6s | iOS 10.3.2 |
| 03 | iPhone6sp | iOS 10.3.2 |
| 04 | HuaWei荣耀8 | Android 6.0 |
| 05 | Vivo Y11iw | Android 4.2.2 |
| 06 | Gigaset GS57-6 | Android 5.1.1 |
| 07 | Macbook pro 2015 | MacOS 10.12.5 |
| 08 | Macbook pro 2015 | MacOS 10.12.5 |
通过社会化手段录入41个真实人员身份, 其中混杂4个测试人员, 测试人员利用测试设备进行语音识别, 预期每次都能检索到测试人员本人的身份信息.
| 序号 | 特征库建模时间长度 | 接口成功率 | 匹配率 |
|---|---|---|---|
| 1 | 30s | 90% | 100% |
| 2 | 60s | 90% | 62% |
| 3 | 90s | 100% | 98% |
| 4 | 120s | 100% | 90% |
| 5 | 150s | 100% | 100% |
| 6 | 180s | 100% | 90% |
结论: 引擎的故障率在测试过程中,有时会出现超时和其他异常, 匹配结果逻辑上有缺陷. 另外有一个问题是该引擎每个分组最大只能支持1000个用户. 与我们的老人走失项目场景不符
| 序号 | 用户身份 | 建模设备序号 | 识别设备序号 | 匹配结果(o对/x错) |
|---|---|---|---|---|
| 1 | khan_lau | 06 | 06 | o |
| 2 | khan_lau | 06 | 04 | x |
| 3 | aeieli | 02 | 02 | o |
| 4 | aeieli | 02 | 06 | x |
| 5 | aeieli | 02 | 07 | o |
| 6 | test_zwj | 04 | 04 | o |
| 7 | test_zwj | 04 | 06 | x |
| 8 | test_zwj | 04 | 07 | x |
| 9 | sherry | 03 | 03 | o |
| 10 | sherry | 03 | 07 | x |
| 11 | liukun9 | 07 | 07 | o |
| 12 | liukun9 | 07 | 06 | o |
| 13 | liukun9 | 07 | 05 | x |
结论: 录音数据有明显的设备特征, 本机建模, 本机检索成功率很高; 本机建模, 其他不同机型检索极少成功.