互信息驱动的全色锐化.
TL; DR
本文提出了一种新颖的基于互信息最小化的Pan-sharpening框架，旨在融合全色（PAN）图像和多光谱（MS）图像，生成既具有高光谱分辨率又具有高空间分辨率的图像。通过引入互信息最小化正则化，该框架显式地鼓励两种模态图像之间的互补信息学习，减少了信息冗余，从而提高了Pan-sharpening的性能。实验结果表明，该方法在多个卫星数据集上均优于其他最先进的方法。
1. 背景介绍
Pan-sharpening技术通过融合多光谱（MS）图像和全色（PAN）图像，生成具有高光谱和高空间分辨率的图像，在图像处理和遥感领域引起了广泛关注。MS图像具有高光谱分辨率但空间分辨率有限，而PAN图像具有丰富的空间信息但光谱分辨率较低。为了生成同时具有高光谱和高空间分辨率的图像，Pan-sharpening方法被开发出来。
现有的Pan-sharpening方法主要分为两类：图像级融合和特征级融合。图像级融合方法直接将MS和PAN图像沿通道维度拼接后输入网络，但由于没有进行显式的跨模态融合，其性能受到限制。特征级融合方法则尝试从PAN和MS图像中独立提取模态感知特征，然后在特征空间中进行信息融合。尽管取得了令人鼓舞的改进，但现有方法仍然存在信息冗余和所谓的“复制伪影”问题。
为了解决上述问题，本文提出了一种基于互信息最小化的Pan-sharpening框架，显式地鼓励MS和PAN模态之间的互补信息学习，减少信息冗余，提高Pan-sharpening性能。
2. 方法介绍
本文提出的模型架构包含三个模块：模态感知特征提取、互信息约束和基于可逆神经网络（INN）的后融合模块。
（1）模态感知特征提取
使用两个独立的特征提取分支，每个分支包含基本组件为3×3卷积层的网络，将PAN和MS图像投影到模态感知特征图，从浅层到深层分别表示为$P_1, P_2, …, P_K$和$M_1, M_2, …, M_K$。
（2）互信息约束
将上述PAN特征和MS特征转换为低维特征向量$E_{p1}, E_{p2}, …, E_{pK}$和$E_{m1}, E_{m2}, …, E_{mK}$，并引入互信息最小化来显式鼓励两种模态之间的互补信息学习。
在信息论中，互信息用于衡量通过观察一个随机变量关于另一个随机变量的信息量。在本文中，通过最小化PAN和MS特征向量之间的互信息，减少了信息冗余:
\[MI(E_{pi},E_{Mi}) = H(E_{pi}) + H(E_{Mi}) - H(E_{pi},E_{Mi})\]（3）后融合模块
基于可逆神经网络（INN）设计了一个有效的后融合模块，用于将经过互信息最小化处理的特征向量投影到最终的融合图像。
3. 实验分析
本文在多个卫星数据集上进行了实验，包括WorldView-II、WorldView-III等。评估指标包括视觉质量、定量指标（如SFIM、Q4等）以及信息冗余程度。
实验结果表明，本文提出的基于互信息最小化的Pan-sharpening框架在多个数据集上均优于其他最先进的方法。
通过可视化比较，可以看出该方法生成的图像在保持高光谱分辨率的同时，也具有较高的空间分辨率，且信息冗余程度较低。
本文还进行了消融实验，验证了互信息最小化机制的有效性。实验结果显示，在删除互信息最小化约束后，模型的性能显著下降，证明了互信息最小化在减少信息冗余和提高Pan-sharpening性能方面的关键作用。
