在 Nextvpu 开发板上二次开发问题汇总

技术文档

前言

• 最终目标：基于Nextvpu开发板进行二次开发，在水上垃圾清理机器人上实现用检测模型检测垃圾的功能。
• 短期目标：基于Nextvpu提供的源码demo，添加检测模型检出的label、score信息展示在检测模型demo中。
• 在实践短期目标的过程中遇到了一些问题，如下记录了相关问题及关于易用性的使用感受。

环境及编译

• 《SDK安装使用指南》关于编译环境搭建部分过于简单，无法仅根据手册自行复现编译环境。（该问题对方公司李艳飞后续发过一个txt文档，补充了环境配置命令）
• 缺少二次开发编译步骤说明文档，如仅修改部分源文件时，如何编译和执行？（该问题已通过微信沟通解决，但还是希望能在文档中补充说明）
• 缺少对于产品设置选型配置时的参数说明，具体表现为执行 ./setproduct.sh 脚本时的各步骤选项说明。（该问题已通过微信沟通解决）

二次开发问题

• 缺少板上计算 mAP 相关代码，用于验证模型在开发板上性能。
• 缺少示例程序接口说明文档。
• 从算法二次开发角度来讲，应该有一个开发流程说明。（该问题通过微信沟通已解决）
• 希望有一个指向性的文件说明，具体内容为，对示例程序完成的功能进行大致说明，并指出，如已完成的功能列表诸如此类。方便二次开发时快速参考和修改，降低时间成本。
• 模型部署问题预测：
  
  • 模型检测精度不高，需要后续重新finetune，则需要对目前demo展示的模型源码重新训练或者尝试新模型。
  • 新模型用infer-studio转换后模型有可能性能下降或直接不可用；
  • 水上漂浮场景下，拍摄到的画面抖动，捕获到的画质质量低，导致检测精度下降；
  • 对于新应用程序的功能开发，需要学习对硬件的调度操作，学习时间成本会相应增加。

学习感受

• 易用性分析：从二次开发角度出发，环境搭建+编译过程+开发过程中的操作命令大部分是从口头沟通获取到的，很多操作指令在所提供的技术手册中并未提及，花费了预料之外的许多时间。其次，源码可读性不高，缺失接口说明文档，且示例程序的代码复用难度较大，导致在二次开发时间成本增加。
• 直观感受：目前觉得最难的部分是源码阅读理解难度较高。