深度正交融合: 整合放射、病理、基因组与临床数据的多模态预后生物标志物发掘.

0. TL; DR

本文提出了Deep Orthogonal Fusion (DOF) 模型，能够从多样化的多模态数据中预测胶质瘤（glioma）患者的overall survival (OS)。该模型注意力门控张量融合，学习如何将来自多参数MRI、活检模态（如H&E图像和DNA测序）以及临床变量的嵌入信息组合成一个综合的多模态风险评分。

实验结果显示，DOF模型在预测glioma患者OS方面的中位C-index达到了0.788 ± 0.067，显著优于表现最佳的单模态模型（C-index=0.718 ± 0.064, p=0.023）。该预后模型能够在现有的临床亚组（如不同分级和分子亚型）内，对glioma患者的OS进行更精细的风险分层。

1. 背景介绍

癌症的诊断和治疗方案通常由多种数据流指导，包括radiology扫描、分子谱、histology切片和临床变量。这些模态各自表征了肿瘤生物学的独特方面，共同帮助临床医生理解患者预后并评估治疗方案。随着分子谱技术和计算病理学的发展，利用deep learning从单一数据源（如基因组或病理图像）中发现预后生物标志物已成为可能。

然而，尽管这些单一模态在临床评估中互为补充，但将它们结合在一个严谨的machine learning框架中，可能会比定性的临床评估或单模态策略更鲁棒地预测患者结局。Glioma（胶质瘤）因其在不同模态中都存在明确的预后信息，以及其严重的危害性，成为多模态生物标志物研究的理想候选者。

目前，大多数深度多模态预测策略主要集中在融合基于活检的模态（如病理与基因组）。例如，有工作通过CNN或GCN整合分子数据与病理分析，证明了多模态方法能改善glioma的预后预测。但这些研究很少涉及radiology数据。涉及radiology的多模态研究则大多是相关性分析，或依赖于简单的后期融合策略和手工特征，这限制了模型学习复杂预后交互的能力。

将放射学、病理学和基因组学数据整合到一个统一的深度学习框架中进行结局预测，实现这一目标需要克服几个挑战：

  1. 数据效率：由于难以大规模收集匹配的多模态和结局数据，融合方案必须在学习复杂的多模态交互时具有高度的数据效率。
  2. 信息冗余：不同模态之间存在强烈的相关预后信号，这可能导致信息冗余，从而阻碍模型性能的提升。

为了应对这些挑战，作者提出了Deep Orthogonal Fusion (DOF)，一个能够将放射学、组织学、基因组学和临床数据结合成一个融合的预后风险评分的deep learning框架。其核心是一种名为Multimodal Orthogonalization (MMO) 的损失函数，旨在最大化每个数据模态的独立贡献，从而提高预测性能。

2. DOF 框架

DOF模型的核心是一个端到端的深度学习框架，它首先为每个模态学习一个嵌入表示，然后通过一个独特的融合模块将它们结合，最后通过一个包含MMO损失的联合目标函数进行优化。整体架构如图所示。

各模态特定网络 (Modality-specific Networks)

对于$M$个模态中的每一个模态$m$，作者使用一个可训练的单模态网络$\Phi_m$来提取其深度嵌入$h_m = \Phi_m(x_m) \in \mathbb{R}^{l_1 \times N}$。

多模态融合 (Multimodal Fusion)

当$M>1$时，模型通过一个多模态融合网络来结合各模态的嵌入。

对于每个模态的嵌入$h_m$，模型首先应用一个注意力机制来根据其他模态的信息控制其表达强度。这个过程产生一个注意力门控后的嵌入$h_m^*$：

\[h_m^* = a_m \odot h_m^S = \sigma(h_m^T \cdot W_A \cdot H_{\neg m}) \odot h_m^S\]

其中，$H_{\neg m}$表示除$m$之外所有其他模态的嵌入，$W_A$是可学习的双线性变换权重，$\sigma$是激活函数，$\odot$表示元素乘积。

为了捕捉所有可能的模态间交互，作者通过计算注意力门控后嵌入之间的外积来组合它们，这也被称为张量融合 (Tensor Fusion)。

\[F = \begin{bmatrix} 1 \\ h_1^* \end{bmatrix} \otimes \begin{bmatrix} 1 \\ h_2^* \end{bmatrix} \otimes ... \otimes \begin{bmatrix} 1 \\ h_M^* \end{bmatrix}\]

通过在每个嵌入向量中包含一个值1，确保了最终的融合张量$F$不仅包含所有模态的联合交互，也保留了所有单模态和部分模态（如成对）的交互信息。

将融合张量$F$通过一个最终的全连接层$\Phi_F$，得到最终的融合嵌入$h_F = \Phi_F(F)$。

多模态正交化 (MMO) 损失

为了解决多模态模型可能学习到相关（冗余）预测器的缺点，作者引入了MMO损失。其核心思想是：在融合之前，各单模态的嵌入应该是正交的。这强制每个模态提供独特的、互补的预后信息。

设$H \in \mathbb{R}^{l_1 \times M \cdot N}$是所有模态的嵌入集合，MMO损失计算如下：

\[L_{MMO} = \frac{1}{M \cdot N} \left( \sum_{m=1}^{M} \max(1, ||h_m||_*) - ||H||_* \right)\]

其中，$||\cdot||_*$表示矩阵的核范数（nuclear norm，即奇异值之和）。这个损失是所有单个嵌入的核范数之和与所有嵌入组合后的核范数之差。当所有单模态嵌入完全正交时，这个损失达到最小值。它惩罚了当两个模态组合在一起时方差减小的情况（即信息冗余）。

联合损失函数与训练

模型的最终输出是一个Cox比例风险模型，其风险评分$\theta$由最后一层全连接层计算得出。训练过程旨在最小化一个由Cox偏似然损失和MMO损失线性组合而成的总损失函数$L$：

\[L = L_{pl} + \gamma L_{MMO} \\ L_{pl} = -\sum_{i:E_i=1} \left( \theta_i - \log \sum_{j:t_i \ge t_j} e^{\theta_j} \right)\]

其中，$L_{pl}$是标准的负对数偏似然损失，$\gamma$是权衡MMO损失贡献的超参数。

3. 实验分析

作者使用来自TCGA的glioma患者数据进行实验，这些患者拥有配对的MRI、病理图像、DNA测序和临床数据。模型通过15折Monte Carlo交叉验证进行训练和评估。

3.1 模型性能比较

作者比较了不同单模态和多模态融合模型在OS预测上的性能，并评估了MMO损失的效果。

在单模态模型中，Radiology (Rad)、Pathology (Path) 和 Genomic (Gen) 模型的性能相当（C-index均约为0.71-0.72），而Clinical (Clin) 模型性能最差。

所有深度融合模型（特别是包含Radiology的模型）的性能都优于单个单模态模型。作者还比较了深度融合与简单的后期融合（即平均单模态风险评分）的性能，发现深度融合效果更好（C-index=0.735-0.739），证实了深度融合的优势。

在训练中加入MMO损失（即DOF方法）后，11个融合模型中有8个的性能得到了提升。DOF模型在融合Radiology、Pathology和Genomic数据时取得了最佳的整体性能，中位C-index达到了0.788 ± 0.067。这一结果显著优于表

一个关键发现是，整合Radiology数据带来了最大的性能提升。所有包含Radiology的融合模型，其性能都优于仅融合活检模态（Path+Gen, Path+Gen+Clin）的模型。这表明Radiology与基于活检的模态之间存在独立的、互补的预后信息。

3.2 患者风险分层分析

作者进一步分析了DOF模型在临床亚组中进行风险分层的能力。

Kaplan-Meier (KM) 曲线显示，由DOF模型预测的风险组（高风险 vs. 低风险）对患者OS的分层能力与已知的临床标志物（如grade和IDH突变状态）相当。

更重要的是，DOF风险组能够在现有的临床亚组内部进行更精细的风险分层。例如，在Grade III患者 (a) 或IDH-mutant患者 (c) 中，DOF模型能够进一步将他们区分为预后显著不同的高风险和低风险亚群。这些结果表明，DOF模型提供了超越现有临床子集和/或单个生物标志物的、有用的额外预后价值。

3.3 与相关性融合方法的比较

为了凸显MMO损失强制解耦/正交思想的优越性，作者还实现并比较了一种强制模态间嵌入相关的融合方案。

结果显示，强制相关的融合模型性能较差。例如，融合Radiology, Pathology和Genomic数据的模型C-index仅为0.730 ± 0.05。

这一对比有力地证明了作者的核心假设：正是因为这些临床数据流之间的差异性（非相关性），才构成了它们集体力量的关键。强制它们相关反而会损害模型的预测能力。