零样本目标计数.
为解决类不可知目标计数需要人工标注样本的问题，本文提出零样本目标计数（Zero-shot Object Counting, ZSC）任务的方法。该方法可以对输入图像中的特定目标物体进行计数，在计数过程中只需要给定物体类别名，而不需要给定任何人工标注的示例。在此基础上本文也提出一种简单有效的patch选择方法，可以在查询图像上准确定位最优patch作为待计数目标。
模型首先通过预训练的条件VAE在特征空间中生成给定类别的类别原型（prototype）。在给定输入查询图像的情况下，随机抽取图像中若干大小不同的patch，并为每个patch提取相应的特征嵌入。选择嵌入与类别原型最邻近的patch作为类相关patch。对每个选择的类相关patch使用预训练的类别无关计数模型获得中间特征图。误差预测器将特征图作为输入，采用归一化技术预测计数误差，最后选择误差最小的patch作为最终的样本exemplar。
实验结果表明，相比于RPN选择patch作为样本exemplar，所提方法选择的样本exemplar能获得更好的计数性能。
下图分别展示了使用人工注释示例、随机选择patch和本文选择的patch的计数样本和相应的密度图。结果表明本文方法的计数结果与使用人工注释示例的识别结果是相同的，高于随机选择patch的计数结果。
对于每个输入查询图像，下图显示了使用生成的原型选择的10个类相关patch，并根据其预测的计数误差（从低到高）进行排序。结果表明所有选择的类相关的patch都显示出一些特定于类的特征，然而并非所有patch都适合用作计数示例，即一些patch只包含目标的一部分，而一些patch包含一些背景。应用误差预测器，可以识别出预测计数误差最小的最合适的patch。
实验结果表明，相比于随机采样的patch，使用类原型来选择与类相关的patch、使用误差预测器来选择最优patch都能进一步提高性能。
此外，由于条件VAE可以生成给定类别的类别原型，因此可以统计不同类别的目标数量。
