Class-Agnostic Counting

类别无关计数.

• paper：Class-Agnostic Counting

如果一幅图像可以用一些特定的重复图像块表示，则该图像具有自相似性（self-similarity），这些特定的重复块也称作模板块（exemplar）。基于图像自相似性，图像计数问题可重定义为图像匹配问题：图像中的自相似块匹配问题。

本文设计了Generic Matching Network(GMN)，可按类未知方法进行计数；为了将GMN适用于不同的用户要求，采用了一个adapter module，使用少量带标记的样本和部分训练参数进行小样本学习。

GMN网络包含3个模块：

• embedding：输入图像分别是exemplar图像块和全分辨率完整图像，通过resnet-50双流网络编码为高级语义特征；
• matching：将exemplar图像块的特征向量大小调整为与全分辨率图像特征向量大小相同，将两者连接后生成密度图；
• adapting：在embedding模块增加residual adapter modules；在adaption阶段冻结预训练GMN的所有参数，微调该模块。

实验时将预测的密度图的局部最大（高于阈值T，T通常设为验证集上最大的F1 score值）设为计数结果。