Few-shot Object Counting with Similarity-Aware Feature Enhancement

通过相似度感知特征增强实现少样本目标计数.

• paper：Few-shot Object Counting with Similarity-Aware Feature Enhancement

小样本计数(Few-Shot Counting, FSC)是指给定一张或几张support描述计数的物体类别，并给定一张待计数的图像query，FSC希望计算出该类别的物体在query中出现的个数。除了在训练集中出现的类别 (称为base classes)，在测试阶段，FSC还需要处理完全没有见过的类别 (称为novel classes)。

小样本计数的baselines主要有两类。第一类是基于特征的方法(下图a)，将support和query的特征连接后训练一个回归头部，计算密度图。第二类是基于相似度的方法(下图b)，将support和query的特征计算一个距离度量，得到一张相似度图，之后从相似度图回归密度图。前者对于语义信息的保持更好，后者对于support和query之间的关系感知更好。

本文提出一种Similarity-Aware Feature Enhancement(SAFECount)模块。首先采用Similarity Comparison Module (SCM) 对比support和query的特征并生成相似度图；然后采用Feature Enhancement Module (FEM)将相似度图作为引导，用support的特征来提升query的特征；最后从提升过的特征中回归密度图。SAFECount既保持了很好的语义信息，又对于support和query之间的关系有良好的感知。

在Similarity Comparison Module (SCM)中，首先将support和query的特征利用共享的卷积层投影到一个对比空间。之后将support作为卷积核，在query上滑动，计算得到一张得分图。最后通过exemplar norm（从support的维度进行norm）和spatial norm（从空间的维度进行norm）对得分图的值进行norm，得到一张相似度图。

在Feature Enhancement Module (FEM)中，首先将相似度图作为权重，对support进行加权。具体的，对support翻转作为卷积核，对相似度图进行卷积，得到一张相似度加权的特征。之后将相似度加权的特征与query的特征进行融合，得到提升过的特征。

提升过的特征与query的特征具有相同的形状。因此提升过的feature可以再次作为query的特征输入SAFECount Block。实验结果证明，只需要一个block即可达到非常高的精度，增加block可以进一步提升精度。最后使用一个回归头部用于从提升过的特征中预测得到密度图。损失函数为预测密度图与ground-truth之间的MSE loss。

SAFECount在小样本计数的数据集FSC-147的Test Set上显著高于其他模型。可视化结果表明SAFECount不仅可以提供精准的计数结果，还可以提准精准的定位信息。

对相似度图的可视化结果表明，SAFECount可以在成堆且相互遮挡的物体中，得到非常清晰的物体边界信息，这有助于区分这些成堆且相互遮挡的物体，所以可以得到更加准确的计数结果。