数据增强：目标检测中数据不均衡可以使用的数据增强方法

实验报告

0. 选择标准

• 易实现
• 有效性
• 相关性
• 注意：
  
  • 使用增强技术时，我们必须确保不增加不相关的数据。

1. 什么是数据增强？有哪些数据增强方法？

• 为啥要数据增强：
  
  • 数据不均衡
  • 数据过少，过拟合
• 常用数据增强技术,参考来源
  
  • 1) 翻转，水平垂直
  • 2）旋转，顺时针，逆时针
  • 3）缩放
  • 4）裁剪
  • 5）移位，向上下左右移动
  • 6）高斯噪声、椒盐噪声
  • 7）亮度、对比度、颜色随机变化
  • 8）插值
    
    • 常数，填充单一背景的未知区域
    • 边界，扩展边缘值
    • 反射，自然背景如树木、山脉边缘反射
    • 对称，据说与反射相似，但我不太理解
    • 包裹，一般不用
  • 9）高级增强
    
    • 用GAN生成，例如转换季节、光线等
    • Yolov4中提及的MixUp\Random Earsing\Cutout\ ...
    • 以及经常有些论文提出的数据增强算法

2. 代码实现？决定尝试哪几种？实验设计、预判、结论？

2.1 Pytorch的torchvision.tranforms模块

• 对PIL.Image变换，不支持对bbox框的变化，对于目标检测任务而言，仅使用Pytorch的API不能满足增强需求。Pytorch的API支持的数据增强包括：
  
  • 中心切割
  • 随机切割
  • 随机水平反转
  • 随机切割
  • 填充

2.2 Python的imgaug包

• 是封装好的用来进行图像增强的python库，支持关键点和bbox一起变换，官方网址
• GitHub
• 安装：

pip install imgaug
# 出现Shapely错误时，用这个
pip install imgaug — upgrade — no-deps

• 如何对图像+bbox一起做变化？代码实现？暂不做。

• 决定采用:

  • 水平翻转
  • 包含物体检测框中心点的随机裁剪
  • 颜色、对比度、光照度的随机变化
  • 噪声

2.3 albumentations 数据增强工具

• 参考链接
  
  • GitHub
  • 教学示例
  • 重要！Albumentation针对目标检测任务增强官方教程
  • 知乎参考
• 安装：

# pip 安装
pip install albumentations
# conda 安装，需先安装imgaug
conda install -c conda-forge imgaug
conda install albumentations -c albumentations

• 目标检测任务增强步骤，需要对图像和Bbox做同样变换
  
  • 1）输入必要的库
  • 2）定义增强pipepline
  • 3）读图片和Bbox
  • 4）将图片和Bbox输入增强Pipeline，然后获取增强的图片和Bbox
• 代码实现示例

# 1-导入库
import albumentations as A
import cv2
# 2-定义增强Pipeline 
# format='pascal_voc','albumantations','coco','yolo'; 
transform = A.Compose([
    A.RandomCrop(width=450, height=450),
    A.HorizontalFlip(p=0.5),
    A.RandomBrightnessContrast(p=0.2),
    ],bbox_param=A.BboxParams(format='yolo'))
# 3-读图片和Bbox   
image = cv2.imread("/path/to/image.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
bboxes = [
    [23, 74, 295, 388, 'dog', 'animal'],
    [377, 294, 252, 161, 'cat', 'animal'],
    [333, 421, 49, 49, 'sports ball', 'item'],
]
# 4-获取增强结果
transformed = transform(image=image, bboxes=bboxes) 
transformed_image = transformed['image']
transformed_bboxes = transformed['bboxes']
# 展示一下高阶用法
# 2-
# min_area, 当增强后bbox面积小于min_area，该bbox会被丢弃，返回的bbox增强列表不包含该bbox；
# min_visibility,（0-1），当增强后bbox面积占增强前bbox面积比例小于该值，那么该bbox同样被丢弃。
transform = A.Compose([
    A.RandomCrop(width=450, height=450),
    A.HorizontalFlip(p=0.5),
    A.RandomBrightnessContrast(p=0.2),
], bbox_params=A.BboxParams(format='coco', label_fields=['class_labels', 'class_categories']))
# 3-
image = cv2.imread("/path/to/image.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
bboxes = [
    [23, 74, 295, 388],
    [377, 294, 252, 161],
    [333, 421, 49, 49],
]
class_labels = ['cat', 'dog', 'parrot']
class_categories = ['animal', 'animal', 'item']
# 4-
transformed = transform(image=image, bboxes=bboxes, class_labels=class_labels, class_categories=class_categories)
transformed_image = transformed['image']
transformed_bboxes = transformed['bboxes']
transformed_class_labels = transformed['class_labels']
transformed_class_categories = transformed['class_categories']

• 注意bbox格式：
  
  • pascal_voc: [x_min, y_min, x_max, y_max]
  • albumentations: [x_min/i_w, y_min/i_h, x_max/i_w, y_max/i_h]
  • coco: [x_min, y_min, width, height]
  • yolo: [x_center/i_w, y_center/i_h, width/i_w, height/i_h]

拓展：Yolov4中的数据增强策略

1. Random Earsing 随机擦除

• 功能：主要针对遮挡问题，随机擦除训练图片的一个举行区域，用随机值擦除其像素，模拟遮挡问题，提高泛化能力。强化模型对目标局部特征的认知。
• 论文 Random erasing data augmentation
• 源码
• 图像分类
  
  • 在原图中随机选择擦除区域； --- 漫无目的的擦除
    -目标检测
  • 在原图中随机选择擦除区域；（IRE）
  • 在每个b-box上独立执行random erasing，即此时b-box相对于图像一样成为一个独立的个体；（ORE）有指导的擦除
  • 在图像和目标b-box上随机选择擦除区域。（I+ORE）

2. Cutout

• 功能：同样针对目标遮挡问题。同时可以让模型更好的学习上下文信息。

3. GridMask

• GridMask 把数据增强分为三个类别：
  
  • 空间转换spatial transformation
    
    • 随机尺寸
    • 裁剪
    • 翻转
    • 旋转任意角度
  • 颜色扭曲color distortion
    
    • 改变亮度
    • 改变色调（hue）
  • 信息丢弃information dropping
    
    • random erasing
    • cutout
    • hide-and-seek（HaS）