目标检测中针对小目标的数据增强方法.

目标检测任务中对小目标的检测通常是比较困难的，其主要原因如下：

  1. 训练集中含有小目标的样本比例较少。如MSCOCO数据集中，所有目标中有$41.43\%$都是小目标，但只有$51.82\%$的图像中出现了这些小目标。
  2. 小目标所占的标注面积较少。如MSCOCO数据集中，只有$1.23\%$的标注像素属于小目标。

目前大多数目标检测方法都采用预设anchor的策略，即将anchor和groud truth匹配，匹配IoU超过一定阈值的anchor被看作正样本。这种匹配方式更倾向于大的目标，造成小目标匹配少、大目标匹配多的不平衡问题。由于小目标匹配较少，在训练阶段对计算损失的贡献较少，导致检测准确率不高。

作者提出过采样(oversampling)和复制粘贴(copy-pasting)两种数据增强方法，以此来提供足够多的小目标进行匹配，提高小目标检测的性能。

过采样 Oversampling

过采样是指将一张图像重复加入训练集若干次，解决含有小目标的图像较少的问题。图像复制的次数称为过采样率(oversampleing rate)。

下表可以看出过采样能够对小目标的检测和分割任务都有所提高，但可能损害大尺度目标的检测效果，因此需要根据实际数据进行调整，并不是越大越好。

复制粘贴 Copy-Pasting

复制粘贴是指将小目标经过随机变换(缩放，翻折，旋转等)后贴到图像中的任意位置上，并增加新的标注。具体地，作者提出了三种方法：

  1. 选择图像中任意一个小目标，并在任意位置复制粘贴多次；
  2. 选择图像中许多小目标，并在任意位置复制粘贴它们一次；
  3. 选择图像中所有的小目标，并在任意位置复制粘贴多次。

作者依次进行了如下实验：用复制粘贴后的图像代替原始图像、同时使用复制粘贴和过采样、将相同的数据增强用于测试集。实验发现前两种得到的结果都比baseline差，而对测试集处理后性能获得较大的提高。

作者认为，出现上述情况是由于人工复制粘贴的不完美性导致的。由于粘贴的目标与背景存在颜色差异，容易被神经网络检测到。