用于泛癌种生存预测的多模态深度学习.
0. TL; DR
本文提出了一种名为MultiSurv的端到端多模态深度学习方法，能够对多达33种不同癌症类型进行自动的患者风险预测。该方法通过无键注意力机制融合组织病理学（histopathology）显微镜图像、表格化的临床信息，以及多种类型的高通量测序和微阵列分子数据。
实验结果表明，在不同的输入数据模态组合下，MultiSurv在所有癌症类型上都表现出很高的预测性能，优于传统的Cox模型、随机生存森林以及其他单模态DL方法。MultiSurv有潜力整合各种可用的患者数据，辅助医生进行癌症患者的预后管理。
1. 背景介绍
医疗保健正从传统的、基于群体的范式转向精准医疗时代。现代成像和高通量测序技术为单个患者提供了海量的生物医学数据，这使得计算方法的应用变得至关重要。特别是Deep Learning (DL)，已在癌症诊断和预后等许多应用中展现出巨大潜力。
肿瘤患者的预后评估是一项极具挑战性但又至关重要的任务。准确预测如死亡或癌症复发等临床结局，为许多临床决策提供了理性依据。这类时间-事件（time-to-event）预测通常属于生存分析（survival analysis）的范畴。生存分析不仅考虑输入数据和记录的事件发生时间，还包括那些在最后一次接触前未观察到事件的样本（即right-censored，右删失数据）。
处理生存数据的经典方法是Cox proportional hazards (CPH) 线性模型。早在二十多年前，Faraggi和Simon就提出了CPH的非线性扩展，用一个简单的前馈神经网络来替代其线性预测器。近年来，这一方法被扩展以利用现代DL技术，产生了一些强大的、能够从histopathology图像或基因组（genomic）数据中学习的方法。
虽然这些方法大多集中于单模态输入，但多模态DL也已被用于癌症生存预测。例如，有研究使用多组学分子数据预测肝癌生存，或结合histopathology图像和少量临床生物标志物来改善胶质瘤（glioma）的预测。最近，Cheerla和Gevaert结合了histopathology切片和其他三种数据模态，对20种不同癌症进行了生存预测。
在此基础上，作者构建于Faraggi-Simon方法及其最新发展之上，提出了MultiSurv——一个用于泛癌种生存预测的端到端多模态DL模型。与以往方法相比，MultiSurv覆盖了更多的癌症类型（33种）和更多的数据模态，并首次将一种改进的keyless attention机制用于生物医学数据的多模态融合。
2. MultiSurv 模型
MultiSurv模型的核心是一个多模态深度学习架构，它能够整合来自不同来源的数据，并通过一个基于注意力的融合机制，最终输出一个统一的生存风险预测。
数据来源与预处理
作者使用了来自The Cancer Genome Atlas (TCGA) 的数据，该数据库包含了33种不同癌症患者丰富的成像、临床和分子数据。
数据集共纳入11,081名患者，按80-10-10%的比例划分为训练、验证和测试集，并按癌症类型进行分层。数据模态包括：
- Whole-slide images (WSI)：H&E染色的诊断性显微镜切片数字扫描图。
- Clinical data：包括癌症类型、性别、种族、既往恶性肿瘤史和年龄等5个变量。
- Gene expression (mRNA)：60,383个mRNAs的RNA-seq计数。
- microRNA expression (miRNA)：1,881个miRNAs的表达计数。
- DNA methylation (DNAm)：25,978个已知CpG位点的Beta值。
- Gene copy number variation (CNV)：19,729个蛋白质编码基因的三级分类表示（中性、基因丢失、基因增益）。
由于WSI尺寸过大，作者首先通过Otsu算法在HSV色彩空间的饱和度通道上自动分割出组织区域（RoI），如图所示。然后从RoI中采样299×299像素的patches，并应用数据增强（旋转、翻转、颜色扰动）。
各数据模态的特征提取
作者为每种输入数据模态设计了一个专门的子模型来提取特征，每个子模型最终输出一个长度为$m=512$的特征向量$z \in \mathbb{R}^m$。
- Clinical data：对4个分类变量使用类别嵌入，然后将嵌入输出与连续变量（年龄）拼接，再通过一个全连接层。
- CNV data：对所有变量使用类别嵌入，然后将嵌入输出送入一个五层的全连接网络。
- mRNA, miRNA, DNAm：使用三到五层的全连接网络。
- WSI：采用迁移学习，使用一个在ImageNet上预训练的ResNeXt-50模型。作者固定了CNN底层网络的参数，只对高层网络进行微调，并替换了最后的全连接层以输出所需大小的向量。
最终，6个数据模态的特征向量$z_j$ ($j=1, …, 6$) 构成了特征矩阵$Z \in \mathbb{R}^{m \times n}$ (其中$n=6$)。
基于注意力的多模态融合
多模态融合过程依赖于一个注意力机制，它将上述特征向量作为输入。作者修改了用于自然视频数据的multimodal keyless attention方法，并加入了tanh 非线性函数。
该模型学习一个注意力权重矩阵$A \in \mathbb{R}^{m \times n}$，其中每一列$a_j$为对应的特征向量$z_j$提供权重。然后，通过对特征向量进行加权元素求和，得到一个紧凑的表示向量$c = (c_1, …, c_m)^T$：
\[c_i = \sum_{j=1}^{n} a_{ij} z_{ij}, \quad a_j = \text{softmax}(\tanh(W_j z_j))\]其中，$W_j \in \mathbb{R}^{m \times m}$是学习到的权重张量$W \in \mathbb{R}^{m \times m \times n}$中的第$j$个矩阵。直观上，这允许模型在融合各自的特征向量时，学习到对六种数据模态中每一种应该关注多少。
深度多模态Cox比例风险回归
经典的CPH模型定义了如下的风险函数：
\[\lambda(t|x) = \lambda_0(t) \cdot e^{h(x)}, \quad h(x) = \beta^T x\]其中，$\lambda_0(t)$是一个非参数的基线风险，而$h(x)$是一个线性的风险预测函数。通过将线性预测器$h(x)$替换为一个由神经网络参数化的非线性函数，就可以得到一个非线性的比例风险模型。
在MultiSurv中，作者将前一步得到的融合特征向量$c$输入一个六层的全连接神经网络，该网络最后只有一个输出节点，用于估计风险函数$h(x)$。
损失函数$L$最小化了平均负偏对数似然，定义如下：
\[L = -\frac{1}{N} \sum_{i:E_i=1} \left( h(x_i) - \log \sum_{j:T_j \ge T_i} e^{h(x_j)} \right)\]其中$T_i$和$E_i$分别是第$i$个观测的事件时间和事件指示符。$x_i$是第$i$个观测的数据。$N$是未删失的患者数量（即事件指示符$E_i=1$的数量）。
数据模态丢弃 (Data Dropout)
为了处理临床实践中常见的数据缺失问题，MultiSurv被设计为可以天然地处理缺失数据。作为一种自然的扩展，作者在训练模型时引入了multimodal input data dropout。在训练过程中，每个患者的每种数据模态都有一定的预定义概率被随机“丢弃”（不输入模型）。为了抵消缺失数据模态的影响，融合特征向量的值会被相应地放大。这种技术是神经网络训练中有效的neuron dropout正则化技术的一种改编。实验发现，0.1的模态丢弃率效果最好。
3. 实验分析
作者使用Harrell’s C statistic（也称为concordance index或C-index）在验证集上评估了模型性能。C-index衡量的是在所有可排序的样本对中，风险预测排序正确的比例。
3.1 单模态数据输入下的性能评估
首先，作者评估了MultiSurv在单模态数据输入下的性能，并与三种其他方法进行了比较：经典的CPH模型、Random Survival Forests (RSF) 和基于DL的DeepSurv方法。
MultiSurv在每一种数据模态上都取得了最高的C-index值。这验证了MultiSurv中用于每种数据模态的特征提取子模型以及最终的风险预测子网络的有效性。DeepSurv在除CNV数据外的所有模态中表现第二好。mRNA数据提供了最强的信息量（C-index = 0.763），紧随其后的是DNAm数据（0.761）和临床数据（0.742）。相比之下，WSI数据单独使用时的信息量最弱（C-index = 0.562），仅略好于随机猜测。
| Data | CPH | RSF | DeepSurv | MultiSurv |
|---|---|---|---|---|
| Clinical | 0.739 | 0.727 | 0.741 | 0.742 |
| mRNA | 0.734 | 0.745 | 0.750 | 0.763 |
| miRNA | 0.682 | 0.667 | 0.693 | 0.717 |
| DNAm | 0.746 | 0.729 | 0.756 | 0.761 |
| CNV | 0.620 | 0.638 | 0.617 | 0.640 |
| WSI | - | - | - | 0.562 |
3.2 多模态数据输入下的性能评估
接下来，作者在多模态设置下测试了MultiSurv，使用了不同的输入数据模态组合。
MultiSurv在不同的数据模态组合下始终表现出很高的性能。最高的C-index（0.779）是通过组合Clinical、mRNA和DNAm数据获得的。当使用全部六种数据模态时，C-index反而有所下降（0.768）。这表明，某些数据模态（如miRNA, CNV, WSI）可能引入了噪声或与最强的信息源（mRNA, DNAm）存在信息冗余，需要进一步改进模型才能充分利用所有数据。
| Data | C-index |
|---|---|
| Clinical + mRNA + DNAm | 0.779 |
| Clinical + mRNA + DNAm + CNV | 0.775 |
| Clinical + DNAm | 0.774 |
| Clinical + mRNA | 0.771 |
| Clinical + mRNA + WSI | 0.768 |
| Clinical + mRNA + DNAm + WSI | 0.768 |
| All modalities | 0.768 |
MultiSurv取得的最高C-index（0.779）与近期一项多模态泛癌种生存研究报告的0.78相当。然而，作者也指出了与该研究的一些有趣差异，这些差异可能源于模型设计和实现细节的不同：
- 信息量最强的模态不同：作者发现mRNA信息量最强，而另一项研究发现miRNA最强，mRNA最弱。
- Data dropout的影响不同：data dropout技术在作者的实验中虽然有积极影响，但效果不如另一项研究中那么显著。
MultiSurv的架构是可扩展的，可以方便地加入额外的数据模态，只需为其添加专用的特征提取子模型即可。这为利用未来可能出现的、具有互补信息价值的新数据模态提供了可能。
