从层次化视角重新审视全色和多光谱图像融合的空间频率信息融合.

TL; DR

本文提出了一种新的分层频率集成网络（HFIN）用于全色与多光谱图像融合（pan-sharpening）。HFIN网络通过分层分解全色图像（PAN）和低分辨率多光谱图像（LRMS）的空间和频率信息，并进行独立融合，再对这些分层融合信息进行进一步的关系增强和综合集成，显著提升了图像融合效果。实验表明，该方法在多个卫星数据集上均优于现有最先进的方法，且具有良好的泛化能力，可推广到其他融合任务中。

1. 背景介绍

在遥感成像中，由于卫星的限制，通常会利用传感器获取具有高光谱分辨率的低分辨率多光谱图像（LRMS）和具有高空间分辨率但低光谱分辨率的全色图像（PAN）。Pan-sharpening技术旨在将LRMS图像与PAN图像融合，以生成具有高空间和高光谱分辨率的高分辨率多光谱图像（HRMS）。然而，现有方法大多侧重于空间域的学习，忽视了频率域中的信息。一些研究表明，Pan-sharpening与频率域信息密切相关，作为超分辨率任务的一部分。因此，利用傅里叶变换获得PAN和LRMS图像在频率域中的互补信息，可以进一步增强信息的表示能力，提高融合性能。

2. 方法介绍

本文提出了一种分层频率集成网络（HFIN），用于从PAN和LRMS图像中提取分层信息，促进空间-频率信息的集成。HFIN网络由几个基本模块组成，称为空间与全局-局部傅里叶信息集成模块（SGLI）。SGLI实现了两个功能：信息分层和信息集成。

（1）信息分层

信息分层通过三个块从PAN和LRMS图像中提取分层信息：空间块、全局傅里叶块和局部傅里叶块。

（2）信息集成

信息集成通过集成模块将来自三个块的信息进行有效结合。由于空间信息和频率信息之间存在显著差异，首先通过空间-频率（SF）融合将空间信息$F_s$与频率信息$F_g$和$F_l$相结合。在SF融合中，将两个分支进行拼接，并通过两个带有ReLU激活函数的卷积层，然后使用sigmoid函数获得空间特征中每个像素的重要性权重。融合特征是通过将该权重与频率特征相乘获得的。之后使用全局-局部（GL）融合进一步增强了全局傅里叶信息$F_{gs}$与局部傅里叶信息$F_{ls}$之间的关系。

3. 实验分析

实验在多个卫星数据集上进行，包括WV2、GF2和WV3等。评估指标包括峰值信噪比（PSNR）、结构相似性（SSIM）等。实验结果表明，本文提出的方法在PSNR、SSIM等评估指标上均优于现有最先进的方法。具体来说，在WV2、GF2和WV3数据集上，PSNR分别提高了0.4dB、1.0dB和0.1dB。此外，该方法在真实世界的全分辨率GF2数据集上也表现出良好的泛化能力。

通过消融实验进一步验证了局部傅里叶块和集成模块的有效性。去除局部傅里叶信息会导致性能下降，证明了其不可或缺性。同时，独立移除SF融合模块和GL融合模块也验证了这两个融合过程的合理性。