CAL:对比主动学习.

对比主动学习(contrastive active learning, CAL)旨在选择具有对比性的样本。如果两个具有不同标签的样本具有相似的特征表示,则把它们看作对比样本。

对于一对对比样本$(x_i,x_j)$应满足:

\[d(\Phi(x_i),\Phi(x_j)) < \epsilon \quad \text{and} \quad KL[p(y|x_i)||p(y|x_j)] \to \infty\]

对于一个未标注的样本$x$,CAL选择样本的流程如下:

  1. 选择特征空间中与其距离最近的$k$个标注样本\(\{(x_i^l,y_i)\}_{i=1}^M \in \mathcal{X}\)
  2. 计算未标注样本$x$特征与选出的$k$个标注样本\(\{x^l\}\)特征之间的KL散度;
  3. 未标注样本$x$的对比得分为所有KL散度的平均值:$s(x)=\frac{1}{M}\sum_{i=1}^M KL[p(y|x_i^l)||p(y|x)]$
  4. 选择具有高对比得分的样本进行标注。

作者给出了CAL在不同分类任务上的实验结果: