0. TL; DR

本文提出了multi-modal learning with missing data (MMD) 流程，将四模态（放射学、病理学、基因组学、人口统计学）的生存预测从“完整数据”设定泛化到更具临床适用性的“缺失数据”场景。通过整合TCGA, TCIA和BraTs数据集，构建了一个包含962名患者的大规模公开数据集，用于系统性地评估胶质瘤生存预测。实验结果表明，所提出的MMD方法将生存预测的C-index从0.7624提升到了0.8053。

1. 背景介绍

Multi-modal learning（多模态学习）通过提取和聚合来自不同模态的同一主题的信息，往往能比单模态学习取得更好的性能。医学领域充满了多模态数据，包括pathology图像、radiology图像、genomic数据和demographic信息等。越来越多的研究表明，多模态学习有助于改善许多医学应用中的计算机辅助诊断和预后。

Gliomas（胶质瘤）是最常见的原发性恶性脑肿瘤，对其进行准确的诊断和预后预测对于治疗决策和患者管理至关重要。过往研究已经证明，利用pathology图像、MRI图像、genomic特征和临床特征等单一模态数据可以预测glioma的生存时间。

近期的研究开始探索整合多模态数据，并取得了有希望的结果。然而，研究都依赖于complete data的设定，即假设每个患者都拥有所有模态的数据。但在真实的临床实践中，这种情况并不总是能得到保证。直接丢弃数据不完整的患者会加剧医学应用中的数据稀缺问题，并增加过拟合的风险。

因此，如何有效地从不完整的四模态数据中学习，仍然存在一些开放性问题：

包含不完整模态的更多训练数据能否提升预测准确性？
如何有效利用预训练的特征提取器？
应该使用端到端训练还是一阶段训练策略？
在数据缺失场景下，应如何融合多模态信息？

本文旨在通过提出一个有效的multi-modal learning with missing data (MMD) 流程，并结合全面的实验分析，来回答上述四个关键问题。

2. 方法介绍

作者提出的MMD方法是一个两阶段的框架，专为数据缺失场景设计，包括（1）单模态特征嵌入和（2）多模态信息融合。其整体流程如图所示。

第一阶段的目标是为每个模态训练独立的深度生存模型，以获得低维的特征嵌入。

首先，使用一个预训练的nnUNet模型自动分割3D MRI扫描中的肿瘤和水肿区域。然后，从四种MRI模态中选取具有最大肿瘤和水肿区域的2D关键切片，并将它们堆叠成一个四通道的输入。

使用一个在ImageNet上预训练的ResNet-18来提取图像特征。为了处理四通道输入，作者将预训练模型第一通道的权重复制到第四通道作为初始化。

此外，使用PyRadiomics从肿瘤体积中提取318个2D和3D的手工特征，以提供额外的形状、位置和纹理信息。最终的放射学特征是CNN特征和手工特征的拼接。

遵循先前工作，使用一个在ImageNet上预训练的Vgg-16来从1024x1024的病理图像中提取特征。训练时，从每张图像中随机裁剪512x512的patch。测试时，使用滑动窗口裁剪9个patches，并对它们的预测进行平均聚合。

Genomics and Demographics Modals

Genomic模态包含80个DNA特征（79个来自CNV，1个来自IDH1突变状态）。

Demographic模态包含4个原始特征（年龄、性别、种族、民族），通过one-hot编码扩展为9个特征。

对于这两种模态，作者都采用了self-normalized networks来减轻过拟合。

2.2 完整数据下的多模态融合

在完整数据设定下，作者探讨了三种经典的多模态融合策略：

Feature Concatenation：将每个模态的$1 \times 32$维特征嵌入直接拼接成一个$1 \times 128$维的多模态表示。
Mean Vector：首先将每个单模态嵌入通过一个模态特定的MLP扩展到128维，然后取所有模态扩展后向量的元素级平均值。
Kronecker Product based Tensor Fusion：直接将Pathomic Fusion中提出的基于门控注意力的张量融合方法从三模态扩展到四模态。

2.3 缺失数据下的多模态融合 (MMD方法)

在缺失数据设定下，作者提出了MMD方法，它能够融合所有可用模态的特征嵌入。作者采用了Mean Vector（元素级平均）作为骨干融合方法，因为它具有“order-less”（无序）的特性，这使其在处理缺失数据时具有更大的灵活性。

为了进一步提升在缺失数据上的融合能力，作者引入了modality dropout，即在训练时随机丢弃某些模态。

为了鼓励模型学习跨模态信息，MMD方法中还加入了模态重建任务，即从所有可用模态的融合表示中，去重建那些缺失（或被dropout）的模态。

MMD方法的总损失函数由两部分组成：

Cox损失 ($L_{cox}$)：用于监督生存预测任务。其中，$h_i$是样本$i$的多模态表示，$F_\theta$是预测生存风险的神经网络。

\[L_{cox} = -\sum_{i:E_i=1} (F_{\theta}(h_i) - \log \sum_{j:t_i \ge t_j} e^{F_{\theta}(h_j)})\]

重建损失 ($L_{recon}$)：用于监督模态重建任务。其中，$x_{vi}$是样本$i$模态$v$的真实嵌入， $\tilde{x}_{vi}$ 是重建的嵌入。 $\alpha_{vi}$ 是一个指示符，当模态$v$对样本$i$可用时为1，否则为0。$L_2$范数被用来计算重建误差。

\[L_{recon} = \frac{1}{\sum_{i} |\alpha_i=1|} \sum_{i}^{N} (\sum_{v}^{V} \alpha_{vi} ||x_{vi}, \tilde{x}_{vi}||)\]

总损失为$L_{total} = L_{cox} + \lambda L_{recon}$。其中，$\lambda$是一个平衡两项损失的权重，经验性地设为1。

3. 实验分析

作者通过整合TCGA, TCIA和BraTs数据集，构建了一个包含962名glioma患者的大规模数据集，每个患者至少有一个可用的模态。

作者系统地比较了end-to-end和two-stage两种训练策略。在两阶段策略中，首先训练好单模态模型并提取32维的嵌入，然后仅训练融合网络。使用concordance index (c-index) 来评估生存预测性能。

Q1: 更多的不完整数据能否提升性能？

结果一致表明，使用所有数据（完整数据”C” + 缺失数据”M”）进行训练，其性能普遍优于仅使用完整数据进行训练。例如，对于Mean Vector融合方法，使用C+M数据训练的c-index（0.7717）高于仅使用C数据（0.7571）。引入带有不完整模态的更多训练数据确实能够提升预后预测的准确性。

Q2: 如何有效利用预训练的特征提取器？

对于Radiology和Pathology这两种基于图像的模态，作者比较了微调整个预训练网络和仅微调最后几层的性能。结果显示，仅微调最后几层取得了更好的单模态生存预测性能。在作者的任务中，冻结预训练模型的底层权重，仅微调高层分类器是一种更有效的策略。

Q3: 端到端训练 vs. 两阶段训练？

两阶段学习策略（c-index=0.7717）的性能与端到端策略（c-index=0.7607）相当，甚至略优。然而，两阶段策略的GPU内存消耗远低于端到端策略。两阶段训练策略在保持有竞争力的性能的同时，具有更高的计算效率和灵活性，是更优的选择。

Q4: 在缺失数据场景下应如何融合信息？

作者对三种融合方法（Concatenation, Tensor Fusion, Mean Vector）在不同训练设置（是否使用dropout和reconstruction）和不同测试场景（完整模态、缺失病理、缺失病理和基因）下进行了全面比较。

在所有测试场景中，Mean Vector融合方法都取得了最佳或接近最佳的性能。对于Mean Vector方法，同时使用modality dropout和modality reconstruction（即完整的MMD方法）时，在所有测试场景中都取得了最高的c-index。

在缺失数据场景下，MMD方法（基于Mean Vector，并结合了modality dropout和reconstruction）是最佳的多模态信息融合策略。