FSRCNN:加速SRCNN模型.

作者旨在修改SRCNN模型,主要考虑三个方面:

  1. 引入转置卷积deconvolution进行分辨率放大,取代了传统方法(如bicubic插值);
  2. 把非线性映射层拆解为压缩、映射和扩张层;
  3. 使用更小的卷积核,增加映射层数。

修改后的FSRCNN模型加速了超分辨率图像生成速度,并没有影响精度。

模型介绍

FSRCNN主要由五部分组成,其中卷积操作的格式为$Conv(kernel size, output channel, input channel)$。

  1. Feature extraction:使用卷积提取特征;
  2. Shrinking:压缩通道数;
  3. Mapping:非线性映射;
  4. Expanding:扩张通道数;
  5. Deconvolution:通过转置卷积增加分辨率。

当选择不同的超分辨率倍数时,转置卷积层之前的层可以共享权重,从而简化了训练难度:

FSRCNN模型与SRCNN模型的比较:

实验分析

实验设置:

作者对不同超参数进行了对比试验,包括特征通道数$d$、压缩特征通道数$s$($s«d$)、映射卷积层数$m$:

作者展示了转置卷积学习到的卷积核:

实验结果如下: