多模态数据生存预测的深度相关性学习.
0. TL; DR
本文开发了一个名为Deep Correlational Survival Model (DeepCorrSurv) 的新模型，用于整合多视角数据。该网络包含两个子网络：一个视角特定（view-specific）子网络和一个共享（common）子网络。DeepCorrSurv首先通过显式地最大化不同视角之间的相关性来消除视角差异，然后将从这种共同性中学习到的特征层次结构迁移并专门用于生存回归任务的微调。
作者在真实的肺癌和脑肿瘤数据集上进行了大量实验，结果表明，与多种state-of-the-art方法相比，DeepCorrSurv在使用多模态数据时取得了更准确的预测结果，证明了其在不同肿瘤类型中的有效性。
1. 背景介绍
生存分析（Survival analysis）旨在对从随访开始到某个特定事件（如死亡）发生所经过的时间进行建模。最流行的生存模型是Cox proportional hazards model（Cox比例风险模型）。然而，Cox模型及其近期的一些发展仍然基于一个核心假设：患者的风险是协变量的线性组合。此外，这些方法大多只关注单一视角的数据，无法有效地处理多模态数据。
最近，深度学习被引入生存分析领域。例如DeepSurv使用一个深度全连接网络来学习高度复杂的生存函数，并证明其性能优于标准的线性Cox模型。但是，DeepSurv无法处理病理图像，也不能处理多视角数据。
为了整合多模态数据并消除视角间的差异，一个好的解决方案是学习一个联合嵌入空间，在这个空间里，不同模态的数据可以直接进行比较。有研究表明，从不同模态中学习到的共同表示为预后提供了重要信息。Canonical correlation analysis (CCA) 是一种旨在学习两个视角中最大化相关的特征的流行方法，而Deep canonical correlation analysis（深度CCA）已被证明更具优势。这种correlational representation learning (CRL) 方法为整合不同模态的生存数据提供了很好的机会。
然而，由于这些CRL方法属于unsupervised learning（无监督学习），它们在学习过程中有可能会丢弃那些与患者生存结局高度相关的重要标志物。
为了解决这个问题，作者开发了一个Deep Correlational Survival Model (DeepCorrSurv)，用于整合病理图像和分子数据的视角，进行生存分析。该方法首先消除视角差异，找到最大相关的表示；然后，它将从这个共享空间中学到的知识迁移过来，并专门针对生存回归任务进行微调。这使得DeepCorrSurv能够发现被传统相关性模型忽略的重要标志物，从而有益于生存预测。
2. DeepCorrSurv 方法
数据与问题定义
对于每个患者$i$，数据包含两种模态（视角），分别表示为$x_i$（如病理图像）和$y_i$（如分子谱数据）。
每个患者$i$都有一个观察时间$t_i$和一个删失状态$\delta_i$。$\delta_i=1$表示事件（死亡）在研究期间发生（未删失），$\delta_i=0$表示事件未被观察到（删失）。
网络架构
作者提出的DeepCorrSurv模型架构如图所示，它由两个视角特定（view-specific）子网络（$f_1, f_2$）和一个共享（common）子网络（$g_c$）组成。
1. View-Specific Sub-networks
- 图像视角 ($f_1$)：作者使用了一个CNNs来从病理图像中学习深层表示。该子网络包含3个卷积层、1个最大池化层和1个全连接层。每个卷积层后都使用ReLU作为非线性激活函数。
- 分子谱视角 ($f_2$)：作者使用了一个FCNs来处理分子谱数据。该子网络包含两个全连接层（分别为128和32个神经元），同样使用ReLU激活函数。
对于任何样本$x_i, y_i$，通过相应的子网络后，其表示分别为$f_1(x_i; w_x)$和$f_2(y_i; w_y)$，其中$w_x, w_y$是网络的参数。
2. Common Sub-network ($g_c$)
$f_1$和$f_2$的输出被送入一个相关性层，以形成一个共享的表示$Z$。这个共享表示$Z$再通过一个共享的子网络$g_c$，得到最终用于生存预测的输出$O = [o_1, …, o_m]^T$。
训练方法：两阶段学习
DeepCorrSurv的训练过程分为两个阶段：深度相关性学习和生存损失微调。
1. 深度相关性学习 (Deep Correlational Model)
第一阶段的目标是消除视角差异，找到一个最大化相关的共享表示。这通过最大化两个视角子网络输出之间的相关性来实现。其损失函数（这里是最大化的目标）定义为两个输出向量$f_1(X)$和$f_2(Y)$的皮尔逊相关系数：
\[L = \text{corr}(X, Y) = \frac{\sum_{i=1}^{m} (f_1(x_i) - \overline{f_1(X)})(f_2(y_i) - \overline{f_2(Y)})}{\sqrt{\sum_{i=1}^{m} (f_1(x_i) - \overline{f_1(X)})^2} \sqrt{\sum_{i=1}^{m} (f_2(y_i) - \overline{f_2(Y)})^2}}\]通过最大化这个相关性损失函数，模型被驱动去学习一个能够捕捉两种模态共性的共享表示空间。
2. 生存损失微调 (Fine-Tune with Survival Loss)
虽然第一阶段学习到的共享表示$Z$捕捉了模态间的共性，但由于这是无监督的，它不一定对生存预测最优。因此，第二阶段的目标是利用生存标签来微调整个网络。
作者采用了标准的负对数偏似然作为生存损失函数：
\[L(o) = \sum_{i:R(t_i)=1} \left( -o_i + \log \sum_{j:t_j \ge t_i} \exp(o_j) \right)\]其中，$o_i$是第$i$个患者的预测风险值。$R(t_i)$是在时间$t_i$的风险集合，即所有在时间$t_i$之前仍在研究中的个体。内层求和是对所有生存时间不小于$t_i$的个体$j$进行的。
DeepCorrSurv将从第一阶段学习到的知识（即预训练好的网络参数）作为初始值，然后使用上述生存损失函数对整个网络进行端到端的微调。
这种两阶段方法使得DeepCorrSurv能够发现被单纯的相关性模型忽略的、但对生存预测至关重要的判别性标志物。它确保了学习到的表示既对视角差异具有鲁棒性，又对生存预测具有判别性。
与DeepSurv等只能处理单一数据视角的深度生存模型相比，DeepCorrSurv能够整合多模态数据。与简单的CCA或DCCA后接生存模型（如DeepCorr+DeepSurv）相比，DeepCorrSurv的端到端微调机制能够更好地优化面向最终任务的特征表示。
3. 实验分析
作者使用了来自TCGA（The Cancer Genome Atlas）项目的两个公开癌症生存数据集：
- TCGA-LUSC：肺鳞状细胞癌，包含106名患者的病理图像和蛋白质表达数据（174种蛋白质）。
- TCGA-GBM：胶质母细胞瘤，包含126名患者的病理图像和CNV（拷贝数变异）数据（106维）。
对于病理图像，作者在病理学家标注的肿瘤区域内随机提取1024x1024的patches。为了与传统方法对比，作者还使用CellProfiler计算了1,795个手工制作的定量图像特征。
作者使用5折交叉验证，并以concordance index (CI) 作为评估指标。CI值越高，表示模型的预测排序与真实生存时间的排序越一致。
在LUSC和GBM两个数据集上，DeepCorrSurv的CI值（分别为0.6287和0.6452）均显著高于所有其他比较方法。同时，其标准差也较低，表明模型性能更稳定。
DeepCorrSurv的性能优于任何仅使用单一数据视角（Images或Protein/CNV）的模型。这证明了整合多模态数据的价值。
与仅使用图像的CNN-Surv相比，DeepCorr+DeepSurv和DeepCorrSurv的性能都有所提升。这表明，通过最大化相关性学习到的共享表示，即使在样本不足的情况下，也能为生存分析提供有益信息。
与DeepCorr+DeepSurv（两阶段训练）和SCCA+MTLSA（基于无监督特征选择）相比，DeepCorrSurv（端到端微调）取得了更好的性能。这说明，单纯以无监督方式最大化相关性可能会丢弃对生存预测重要的标志物，而DeepCorrSurv通过生存损失进行微调，能够确保学习到的表示既鲁棒又具有判别性。
在GBM数据集中，大多数使用CNV数据的模型比使用图像数据的模型预测效果更好；而在LUSC数据集中，情况则相反。这提示我们，由于不同肿瘤类型的异质性，很难找到一个仅使用单一数据视角就能在所有肿瘤类型上都取得成功的通用模型。而DeepCorrSurv通过有效整合两种视角，在两个数据集上都取得了最佳性能，显示了其良好的泛化能力。
