通过定制化Transformer和可逆神经网络实现全色锐化.
TL; DR
本文提出了一种结合定制化长距离Transformer和可逆神经网络（INN）的遥感图像融合方法，旨在提升遥感成像系统中的全色锐化（pan-sharpening）效果。该方法通过两流独立卷积编码器提取多光谱（MS）和全色（PAN）图像的特征，利用定制化Transformer捕捉长距离依赖关系，并通过可逆神经网络实现无损特征融合。实验结果表明，该方法能以较少的参数和计算量实现高效的全色锐化，显著提升图像的空间分辨率，同时保持较好的光谱信息。
1. 背景介绍
随着卫星传感器的快速发展，卫星图像在多个领域得到了广泛应用，如环境监测、城市规划、灾害评估和军事侦察等。然而，由于技术和成本的限制，卫星图像往往存在空间分辨率和光谱分辨率之间的权衡。为了提高图像的空间分辨率，同时保持丰富的光谱信息，全色锐化技术成为了一种有效的解决方案。
全色锐化通过将高分辨率的全色图像与低分辨率的多光谱图像融合，生成高分辨率的多光谱图像。传统的全色锐化方法包括基于统计的方法、多分辨率分析方法和基于稀疏表示的方法等。然而，这些方法在提取和融合特征时往往存在信息损失或计算复杂度高的问题。
近年来，深度学习技术的快速发展为全色锐化提供了新的思路。基于深度学习的方法能够自动学习图像的高层次特征，实现更准确的图像融合。本文将介绍一种结合定制化长距离Transformer和可逆神经网络的全色锐化方法，旨在提高图像的空间分辨率和光谱保真度。
2. 方法介绍
INNformer模型包括两个主要部分：两流独立卷积编码器和定制化Transformer与可逆神经网络融合模块。
模型首先使用两个独立的3x3卷积编码器对MS和PAN图像进行特征提取。这两个编码器分别生成模态特定的特征图，为后续的融合过程提供输入。
在特征提取之后，模型利用定制化Transformer捕捉长距离依赖关系。Transformer中的自注意力机制使得模型能够关注图像中不同位置之间的相关性，从而提取更丰富的空间信息。
接下来，模型采用可逆神经网络（INN）实现无损特征融合。可逆神经网络的设计使得在融合过程中信息不会丢失，从而保证了融合结果的高质量。通过可逆神经网络的变换，模型将MS和PAN图像的特征进行融合，生成高分辨率的多光谱图像。
3. 实验分析
本文在多个数据集上进行了实验，包括QB卫星数据集和WorldView-3（WV3）数据集。为了评估全色锐化效果，采用了峰值信噪比（PSNR）、结构相似性指数（SSIM）和光谱角距离（SAM）等评估指标。实验结果表明，本文提出的方法在多个评估指标上均取得了显著优于传统方法和其他深度学习方法的性能。
该方法能够生成高分辨率的多光谱图像，同时保持较好的光谱信息。与传统方法相比，本文提出的方法在提取和融合特征时更加高效，避免了信息损失的问题。与其他深度学习方法相比，该方法通过定制化Transformer和可逆神经网络的设计，实现了更准确的图像融合和更高的计算效率。
本文还进行了消融实验，验证了定制化长距离Transformer和可逆神经网络融合模块的有效性。实验结果表明，这两个模块对于提升全色锐化效果具有关键作用。
