全色锐化的空间频率领域信息融合.

TL; DR

本文提出了一种名为空间-频率信息融合网络（SFIIN）的新方法，用于Pan-sharpening任务，即通过融合全色（PAN）图像和低分辨率多光谱（MS）图像来生成高分辨率多光谱图像。SFIIN结合了空间域和频率域的信息，通过设计的核心构建模块SFIB（包含空间域信息分支、频率域信息分支和双域信息交互）实现了信息的有效融合。实验结果表明，该方法在多个评估指标上优于现有方法，并具有良好的泛化能力。

1. 背景介绍

Pan-sharpening是一种图像处理技术，旨在通过融合全色图像（具有高分辨率但光谱信息有限）和低分辨率多光谱图像（具有丰富的光谱信息但分辨率较低）来生成高分辨率多光谱图像。这种技术在遥感图像处理、医学影像分析等领域具有广泛的应用价值。

然而，现有的Pan-sharpening方法大多仅在空间域内工作，很少探索频率域的潜在解决方案。空间域方法主要关注图像的局部信息，而频率域方法则能够捕捉全局上下文信息。因此，结合空间域和频率域的信息有望进一步提升Pan-sharpening的性能。

2. 方法介绍

本文提出了一种名为空间-频率信息融合网络（SFIIN）的新方法，用于Pan-sharpening任务。SFIIN的核心构建模块是SFIB，它包含三个关键组件：空间域信息分支、频率域信息分支和双域信息交互。

（1）空间域信息分支

空间域信息分支使用残差块和3x3卷积层来整合PAN和MS特征的信息，并生成空间域表示$F_{spa}$。卷积主要关注学习空间域的局部表示。

（2）频率域信息分支

频率域信息分支首先使用傅里叶变换将模态感知特征转换为频率域，然后提取全局频率信息表示$F_{fre}$。根据频谱卷积定理，在傅里叶空间中处理信息能够捕捉频率域的全局表示。

（3）双域信息交互

双域信息交互主要包括信息补偿和信息整合两部分。由于$F_{fre}$和$F_{spa}$具有互补性，因此提取它们的区分性成分并进行融合。通过空间注意力机制来利用空间域间的依赖性，输出空间注意力图，并将其乘以$F_{spa}$以选择更具信息量的内容，然后将其施加到全局频率表示$F_{fre}$上以丰富表示。再将两个表示通过通道注意力机制后与多光谱特征融合。

3. 实验分析

实验使用了多个遥感图像数据集，包括WorldView II、GaoFen2和WorldView III等。评估指标包括峰值信噪比（PSNR）、结构相似性指数（SSIM）、光谱角映射（SAM）和相对全局误差（ERGAS）等。

实验结果表明，SFIIN在多个评估指标上均优于现有方法。特别是在PSNR和SSIM等客观指标上，SFIIN取得了显著的提升。

此外通过可视化特征图，可以清晰地看到空间域和频率域信息的互补性，以及双域信息交互的有效性。