@wanghuijiao 2022-04-20T22:18:50.000000Z 字数 6072 阅读 597

目标检测可视化组件

技术文档

需求梳理

模块化、可配置的单个目标检测数据集可视化需求：提供一个脚本完成以下功能
- 应用场景：对单个数据集可视化gt标签，就想看下标签长啥样，肉眼判断数据集质量如何
  - 逐张显示gt
  - 按顺序或者随机图片显示，显示目前查看图片的进度（例如 5/100）
- 输入是
  - 参数配置文件
  - yolo\coco\hik格式的数据集路径
- 输出是
  - 图片、视频、直接显示
目标检测针对难例分析的可视化需求：提供一个脚本完成以下功能


classDiagram
    HardSampleAnalysis ..> DrawUtils
    HardSampleAnalysis ..> ConfigParser
    HardSampleAnalysis ..> ConfusionMatrixBoxes
    HardSampleAnalysis ..> DrawOutputUtils
class ConfigParser{
    + parser(cfg_path)
}
class HardSampleAnalysis{
    + findout_boxes_from_one_dataset(image_path，dataset: BaseDetectionDateset)
    + analysis_hard_samples(dataset_dict, draw_config_dict, draw_output_config: DrawOutputConfig)
}
class DrawUtils{
    + draw_one_image(img, boxes, config: DrawConfig, image_text='', box_text_list=[]): 
    + concate_images(img_list, mode)
}
class DrawOutputUtils{
    + output(img)
}
class ConfusionMatrixBoxes{
    + calculate_tp_fp_fn(gt_boxes_list, pred_boxes_list)
}

流程图

graph TB
    Start(开始) --> ConfigParser[ConfigParser]
    ConfigParser --> HardSampleAnalysis[HardSampleAnalysis]
    HardSampleAnalysis --> ConfusionMatrixBoxes[ConfusionMatrixBoxes]
    ConfusionMatrixBoxes --> DrawUtils[DrawUtils]
    DrawUtils --> DrawOutputUtils[DrawOutputUtils]
    DrawOutputUtils --> img_list{"是否还有图片？"}
    img_list --是--> HardSampleAnalysis
    img_list --否--> End(结束)

功能点及类与方法的实现：
- ConfigParser
  - parser(cfg_path)
    - 解析输入的配置文件参数
    - 预留输入参数选择查看多个模型的单一或多个误报 False Positive、漏报 False Negetive、正检 True Positive、GT, 预留输入参数用颜色区分 --> DrawConfig
    - 预留 iou_threshold 参数 --> DrawConfig
    - 预留 score_threshold 用于过滤置信度过低的 box --> DrawConfig
    - 预留顺序、乱序显示参数 --> DrawConfig
    - 预留显示图片进度选项 --> DrawConfig
    - 预留拼接模式 --> DrawOutputUtils
    - 预留输出保存选项，包括直接显示、保持视频、图片以及保存路径等 --> DrawOutputUtils
- HardSampleAnalysis
  - analysis_hard_samples(dataset_dict, draw_config_dict, draw_output_config: DrawOutputConfig)
    - 按顺序或者乱序显示图片
    - 按ESC退出
    - 单模型可选TP\FP\FN分开画框或合并画框; 多个模型只能TP\FP\FN合并画框
  - findout_boxes_from_one_dataset(image_path，dataset: BaseDetectionDateset)
    - 找到dataset中image_path对应的boxes
- ConfusionMatrixBoxes
  - calculate_tp_fp_fn(gt_boxes_list, pred_boxes_list, iou_threshold)
    - 计算tp\fp\fn box list，并返回box_list和iou重叠度list
  - calculate_iou(box1, box2)
    - 计算每个pred_box与gt_box的IOU重叠度
- DrawUtils
  - draw_one_image(img, boxes, config: DrawConfig, image_text='', box_text_list=[]):
    - IOU重叠度用box_text_list显示在box上备注信息
    - 图片添加备注信息image_text表明predictions对应的模型名称
    - 显示目前查看图片的进度（例如 5/100）--> config
    - 用颜色区分不同的TP\FP\FN boxes --> config
  - concate_images(img_list):
    - 拼接输入的images
- DrawOutputUtils
  - output(img)
    - 可选输出为直接显示、保存图片、保存视频

输入是

配置文件路径

配置文件示例

    [GT_dataset]
    # groudtruth 数据集名称标识，将会显示在图片上用以区分不同的结果来源
    dataset_name = GT_dataset
    # groudtruth 数据集根路径
    dataset_path = tests/data/coco_dataset
    # 支持coco\yolo两种格式
    dataset_type = coco
    # 是否打乱图片顺序显示
    shuffle = True
    # 要可视化的子集名称
    # coco: test.json\train.json\val.json
    # yolo: train.txt\test.txt\val.txt
    split = test.json
    # DrawConfig参数设置
    # 任选TP, FP, FN三者中一个或多个，并以逗号分割
    hard_sample_type = TP,FP,FN
    # hard_sample_type选项对应的颜色设置，要求长度与hard_sample_type输入顺序与个数相对应
    hard_sample_colors = [(255, 0, 0), (0, 255, 0), (0, 0, 255)]
    # iou阈值, 超过此阈值的Box被认为是TP
    iou_threshold = 0.5
    # score阈值，超过此阈值的box才会被用于计算TP\FP\FN
    score_threshold = 0.1
    # 画框线段粗细
    line_thickness = 2
    # 画框线段类型
    lineType = 15
    # 框备注信息的字体类型
    font = 0
    # 框备注信息的字体字号
    fontscale = 2
    # 框备注信息的字体线段粗细
    text_line_thickness = 2
    # 框备注信息线段类型
    text_lineType = 16
    # 框备注信息的字体颜色
    text_color = (255, 0, 0)
    # 画框是否采用断点线段
    dotted_line = False
    # 是否显示置信度分数
    show_score = True
    # 是否显示图片索引, 即当前图片是第几张
    show_index = True
    # 图片显示进度信息在图片上的位置
    img_text_index = (10, 100)
    # 图片显示进度信息在图片上的颜色
    img_text_color = (0, 255, 0)
    # DrawOutputConfig参数设置
    # 是否保存可视化结果图片格式到本地
    output_image = True
    # 图片保存路径
    output_path = tests/visualization/test_draw_datasets_in_multi_images
    # 是否直接显示可视化结果
    imshow = False
    # 可视化的图片高和宽尺寸设置
    height = 480
    width = 640
    # 难例画框模式，对于单个模型结果（除GT之外的模型）提供两种画框拼接模式，叠加(True)显示或分开(False)显示TP\FP\FN；对于多个模型仅提供单张图片叠加显示TP\FP\FN框; 
    hard_sample_concate = True
    [m1]
    # 模型结果名称标识，将会显示在图片上用以区分不同的结果来源
    dataset_name = m1
    # groudtruth 数据集根路径
    dataset_path = tests/data/coco_dataset
    # 支持coco\yolo两种格式
    dataset_type = coco
    # 是否打乱图片顺序显示
    shuffle = True
    # 要可视化的子集名称
    # coco: test.json\train.json\val.json
    # yolo: train.txt\test.txt\val.txt
    split = test.json
    # DrawConfig参数设置
    # 任选TP, FP, FN三者中一个或多个，并以逗号分割
    hard_sample_type = TP,FP,FN
    # hard_sample_type选项对应的颜色设置，要求长度与hard_sample_type输入顺序与个数相对应
    hard_sample_colors = [(255, 0, 0), (0, 255, 0), (0, 0, 255)]
    # iou阈值, 超过此阈值的Box被认为是TP
    iou_threshold = 0.5
    # score阈值，超过此阈值的box才会被用于计算TP\FP\FN
    score_threshold = 0.1
    # 画框线段粗细
    line_thickness = 2
    # 画框线段类型
    lineType = 15
    # 框备注信息的字体类型
    font = 0
    # 框备注信息的字体字号
    fontscale = 2
    # 框备注信息的字体线段粗细
    text_line_thickness = 2
    # 框备注信息线段类型
    text_lineType = 16
    # 框备注信息的字体颜色
    text_color = (255, 0, 0)
    # 画框是否采用断点线段
    dotted_line = False
    # 是否显示置信度分数
    show_score = True
    # 是否显示图片索引, 即当前图片是第几张
    show_index = True
    # 图片显示进度信息在图片上的位置
    img_text_index = (10, 100)
    # 图片显示进度信息在图片上的颜色
    img_text_color = (0, 255, 0)
    # DrawOutputConfig参数设置
    # 是否保存可视化结果图片格式到本地
    output_image = True
    # 图片保存路径
    output_path = tests/visualization/test_draw_datasets_in_multi_images
    # 是否直接显示可视化结果
    imshow = False
    # 可视化的图片高和宽尺寸设置
    height = 480
    width = 640
    # 难例画框模式，对于单个模型结果（除GT之外的模型）提供两种画框拼接模式，叠加(True)显示或分开(False)显示TP\FP\FN；对于多个模型仅提供单张图片叠加显示TP\FP\FN框; 
    hard_sample_concate = True
    [m2]
    # 模型结果名称标识，将会显示在图片上用以区分不同的结果来源
    dataset_name = m2
    # groudtruth 数据集根路径
    dataset_path = tests/data/coco_dataset
    # 支持coco\yolo两种格式
    dataset_type = coco
    # 是否打乱图片顺序显示
    shuffle = True
    # 要可视化的子集名称
    # coco: test.json\train.json\val.json
    # yolo: train.txt\test.txt\val.txt
    split = test.json
    # DrawConfig参数设置
    # 任选TP, FP, FN三者中一个或多个，并以逗号分割
    hard_sample_type = TP,FP,FN
    # hard_sample_type选项对应的颜色设置，要求长度与hard_sample_type输入顺序与个数相对应
    hard_sample_colors = [(255, 0, 0), (0, 255, 0), (0, 0, 255)]
    # iou阈值, 超过此阈值的Box被认为是TP
    iou_threshold = 0.5
    # score阈值，超过此阈值的box才会被用于计算TP\FP\FN
    score_threshold = 0.1
    # 画框线段粗细
    line_thickness = 2
    # 画框线段类型
    lineType = 15
    # 框备注信息的字体类型
    font = 0
    # 框备注信息的字体字号
    fontscale = 2
    # 框备注信息的字体线段粗细
    text_line_thickness = 2
    # 框备注信息线段类型
    text_lineType = 16
    # 框备注信息的字体颜色
    text_color = (255, 0, 0)
    # 画框是否采用断点线段
    dotted_line = False
    # 是否显示置信度分数
    show_score = True
    # 是否显示图片索引, 即当前图片是第几张
    show_index = True
    # 图片显示进度信息在图片上的位置
    img_text_index = (10, 100)
    # 图片显示进度信息在图片上的颜色
    img_text_color = (0, 255, 0)
    # DrawOutputConfig参数设置
    # 是否保存可视化结果图片格式到本地
    output_image = True
    # 图片保存路径
    output_path = tests/visualization/test_draw_datasets_in_multi_images
    # 是否直接显示可视化结果
    imshow = False
    # 可视化的图片高和宽尺寸设置
    height = 480
    width = 640
    # 难例画框模式，对于单个模型结果（除GT之外的模型）提供两种画框拼接模式，叠加(True)显示或分开(False)显示TP\FP\FN；对于多个模型仅提供单张图片叠加显示TP\FP\FN框; 
    hard_sample_concate = True

输出是
- 图片、视频、直接显示

graph TB
    A(开始)
    B[打开冰箱门]
    C{"冰箱小不小"}
    D((连接))

image_1ftm2s2s41hrq105g1q7e150o1e6i9.png-329.9kB

image_1ftm30k9r16m69g7qsn13qo1hb8m.png-124.4kB

附录

模块化、可配置的单个目标检测数据集可视化

可视化yolo/coco/hik格式数据集，要怎么做？
可视化什么？
算法逻辑
- 从路径中加载数据集到内存，如果是yolo\coco格式需要先进行数据集格式转换
- 根据参数配置画bbox
- 输出
脚本使用步骤
- 配置参数文件
- 输入脚本命令（数据集路径，必要的参数），输出可视化结果，在线显示或者保存到本地。
- 输入是
  - 配置文件
  - yolo\coco\hik格式的数据集路径，图片+anno
- 输出是
  - 图片、视频、直接显示

目标检测针对难例分析的可视化

查看模型结果时
- 只看误报 False Positive
- 只看漏报 False Negetive
- 只看正检 True Positive
- 同时查看 GT 和 Predictions

目标检测可视化组件

需求梳理

附录

模块化、可配置的单个目标检测数据集可视化

目标检测针对难例分析的可视化

内容目录