基于深度卷积神经网络的超分辨率引导渐进全色锐化.

TL; DR

本文提出了一种新颖的SR（超分辨率）引导的渐进式全色锐化（pansharpening）神经网络（SRPPNN），用于提升多光谱图像的空间分辨率。该方法结合了SR过程、渐进式全色锐化过程和高通残差模块，有效利用了全色图像中的空间细节。实验结果表明，SRPPNN在多种数据集上均优于传统和其他基于深度学习的全色锐化算法。

1. 背景介绍

全色锐化（Pansharpening）和超分辨率（SR）方法都旨在提高图像的空间分辨率。全色锐化通常利用全色图像（PAN）的高空间分辨率特性与多光谱图像（LMS）的高光谱分辨率特性相结合，以生成高分辨率多光谱图像（HRM）。传统的全色锐化方法包括基于成分替换、多分辨率分析和稀疏表示的方法。然而，这些方法在处理复杂场景时往往效果有限。

随着深度学习的兴起，许多研究者开始将其应用于全色锐化任务。现有的基于深度学习的全色锐化方法大多参考了图像超分辨率的概念，通过构建卷积神经网络（CNN）来自动学习图像特征，从而实现图像分辨率的提升。尽管如此，这些方法在重建LMS图像的空间信息方面仍存在不足，且忽视了遥感图像中的尺度效应。

2. 方法介绍

本文提出的SRPPNN模型包含三个关键组件：超分辨率过程、渐进式全色锐化过程和高通残差模块。

SR过程基于深度卷积神经网络，通过多层卷积和非线性映射来学习LMS图像中的内部空间特征。这些特征随后与PAN图像中的空间细节相结合，以生成更高分辨率的图像。

渐进式全色锐化过程将全色锐化任务分解为多个阶段，每个阶段负责将图像的空间分辨率提高一倍。在每个阶段中，首先执行特征提取，然后通过上采样层将图像尺寸增加一倍。这种方法有助于逐步改善图像的空间分辨率，同时减少计算复杂度。

高通残差模块通过计算PAN图像与LMS图像上采样版本之间的差异来提取空间细节。这些差异信息随后被注入到网络中，以增强融合结果的空间分辨率。

3. 实验分析

实验使用了QuickBird（QB）、WorldView-3（WV3）和Landsat-8等遥感数据集。评估指标包括空间分辨率提升、光谱失真程度以及计算复杂度等。实验结果表明，SRPPNN在多种数据集上均优于传统的全色锐化方法，如SFIM、PRACS、Brovey和GS等；也优于其他基于深度学习的全色锐化方法，如PNN、MSDCNN和PanNet等。这主要得益于SRPPNN中的SR过程、渐进式全色锐化过程和高通残差模块的联合作用。