深度学习中的权重标准化方法.
- paper：Weight Standardization
- arXiv：link
作者提出了一种对权重进行标准化的方法，称为Weight Standardization（WS）。通过实验发现结合GN和WS对一些计算机视觉任务（如图像分类、目标检测）的效果较好，其中BN训练在batch size较大的情况下，而GN和GN+WS使用$1$ $ image / GPU$：
比较GN和WS，前者是在data space中实现的，后者是在weight space中实现的；对于卷积神经网络，其参数用卷积核表示，尺寸为$(C_{out},C_{in},H,W)$：
WS的计算公式和其计算图如下，主要包括减去均值、除以标准差两个步骤：
作者通过消融实验发现，减去均值的操作对结果的改善最明显：
