残差网络的竞争性内部图像通道注意力机制.
在残差网络中,数据流包括残差流和恒等流,而注意力机制通常是在残差流中添加的。本文提出了通过残差流和恒等流进行竞争建模共同决定的通道注意力机制,使得恒等流能自主参与对特征的权重调控。
本文针对网络中间特征的精炼建模任务,提出了对通道的压缩特征进行重成像,将各个数据流的全局特征重组为一张新的特征图,并使用神经网络完成对重组特征图的建模,以此学习来自残差流和恒等流所有通道的关系信息。这一机制称为卷积网络内部特征的重成像(Inner-Imaging)。
实现重组特征图的建模的Competitive Squeeze and Excitation(CMPE-SE)单元有三种不同的形式,分别是应用全连接层和应用卷积层:
本文实验在CIFAR-10,100,SVHN数据集上进行,验证了提出方法的有效性,并发现提出方法对较小规模网络的潜力挖掘作用,使其能用更少的参数达到甚至超越原先更大网络才能达到的效果。