ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

ReMixMatch：通过分布对齐和增强锚点实现半监督学习.

• paper：ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

ReMixMatch是一种半监督学习方法，它在MixMatch方法的基础上进行了两点改进：分布对齐(Distribution Alignment)和增强锚点(Augmentation Anchoring)。

分布对齐是指把构造的伪标签的分布\(p(\hat{y})\)调整为更接近已标注样本的标签分布$p(y)$。记伪标签分布的滑动平均\(\tilde{p}(\hat{y})\)，则调整伪标签样本$u$的伪标签：

增强锚点是指给定未标注样本$u$，首先通过较弱的数据增强生成一个样本锚点，然后通过$K$次较强增强的预测均值构造伪标签。较强的数据增强选用CTAugment，只采样使得模型预测在网络容忍度之内的增强。

ReMixMatch的损失函数包括：

• 对已标注数据应用数据增强和MixUp后的监督损失；
• 对未标注数据应用数据增强和MixUp后的无监督损失（以伪标签为目标）；
• 对无标签增强样本的交叉熵损失；
• 自监督形式的旋转损失。