RandAugment: 通过减少搜索空间实现自动数据增强.
- paper：RandAugment: Practical automated data augmentation with a reduced search space
- arXiv：link
目前自动搜索数据增强存在两个问题。 其一是对每个数据集需要搜索最合适的数据增强，增加了训练的复杂度和计算成本。 其二是自动搜索通常是在小数据集上训练小模型，然后迁移到大模型的训练上，而最佳增强策略通常取决于模型和训练集大小。
作者提出了RandAugment，显著减少搜索空间，寻找在所有数据集上通用的增强策略，并使用两个超参数根据不同的任务和数据集控制增强的程度。由于控制增强的参数具有可解释性，可以进一步研究不同模型和数据集上选择的数据增强类型和作用。
1. RandAugment
为了减少搜索空间，作者指定了$K=14$种不同的图像处理方法，并将恒等变换包括其中，因此不需要再搜索应用增强的概率。这相当于在每次增强中，每个图像变换应用的概率为$1/K$。引入超参数$N$控制使用图像操作的数量，则搜索空间的大小为$K^N$。在实验中$N$随机选取$1,2,3$，则搜索空间大小为$14^3=2744$。
图像增强的程度用另一个超参数$M$控制。将增强程度离散化为$31$个数值，并对所有增强应用同一个全局超参数$M$。在训练期间，增强幅度设置了四种变化方式：常数幅度、随机幅度、线性递增幅度和随上界增加的随机幅度。$M$的取值为$0$-$30$。
在较小的搜索空间中，使用网格搜索非常有效。RandAugment的实现过程如下：
2. 实验分析
作者首先讨论了在不同的模型大小和数据集大小下数据增强的影响。 模型大小通过卷积核的数量增加宽度实现，数据集大小通过调整数据量实现。
图(a)展示了不同宽度的模型使用不同程度的数据增强获得的准确率相对变化，图中显示更大的网络在更强的数据增强下能够获得更大的准确率提升。图(b)显示模型大小与最优增强程度几乎呈线性关系。
图(c)展示了在不同大小的训练集上使用不同程度的数据增强获得的准确率相对变化，图中显示在较小的训练集上模型可以从数据增强中获得更大的改进，且训练集越大，最优增强幅度越大。图(d)显示数据集大小与最优增强程度也几乎呈线性关系。
上述实验表明，不同大小的模型和训练集需要不同程度的数据增强；之前那些在小模型上寻找数据增强，并迁移到大模型上的方法是次优的。
RandAugment的实验结果如下：
