GPDBN: 整合基因组数据与病理图像的深度双线性网络用于乳腺癌预后预测.
0. TL; DR
GPDBN是用于有效整合genomic data（基因组数据）和pathological images（病理图像）来预测breast cancer的预后框架，核心创新在于：
- Inter-modality Bilinear Feature Encoding：提出了一个模态间双线性特征编码模块，用于建模跨不同模态特征之间复杂的内在关系。
- Intra-modality Bilinear Feature Encoding：设计了两个模态内双线性特征编码模块，用于捕捉每种模态内部同样具有预测价值的关系。
- 通过一个多层深度神经网络，将模态间和模态内的双线性特征进一步结合，以充分利用它们之间的互补信息。
全面的实验结果表明，与现有方法相比，GPDBN显著提高了breast cancer预后预测的性能。
1. 背景介绍
Breast cancer（乳腺癌）是全球女性最常见的恶性肿瘤之一，也是导致癌症相关死亡的主要原因。由于其高度异质性，准确的诊断和预后预测对于制定恰当的治疗方案至关重要。
目前，已有大量研究利用genomic data（如基因表达谱）或pathological images来进行breast cancer的预后预测。
- 基于基因组数据的方法：早期研究致力于发现能够区分预后好坏的基因，并产生了一些多基因预测模型，如著名的70基因和76基因标志。
- 基于病理图像的方法：随着数字whole-slide images（全切片图像）的出现，计算病理学方法通过提取细胞大小、形状、分布和纹理等特征，为预后预测提供了独立的、有价值的信息。
近年来，将这两种模态数据结合起来的研究日益增多，因为它们被认为是互补的。机器学习，特别是深度学习，因其强大的非线性建模能力，在多模态数据整合方面显示出巨大潜力。然而，现有的深度学习融合方法存在一些局限：
- 直接组合的局限性：许多方法，如genomic survival convolutional neural network (GSCNN)，通过直接拼接图像和基因组特征来进行融合。这种方式可能忽略了不同模态特征之间内在的、复杂的关系。
- 相关性学习的不足：一些方法通过最大化不同模态特征间的相关性（如余弦相似度）来学习联合表示，但这可能未能充分捕捉所有有价值的交互信息。
- 忽略模态内关系：现有方法很少考虑单一模态内部特征之间的关系，而这种关系同样对预后预测至关重要。
为了解决这些问题，作者提出了GPDBN框架，旨在通过bilinear model（双线性模型）同时捕捉inter-modality和intra-modality的关系，从而更有效地整合基因组数据和病理图像，以实现更准确的breast cancer预后预测。
2. GPDBN 模型
GPDBN框架的核心是利用双线性模型来捕捉特征之间的高阶交互。其整体工作流程如图所示。
数据集与预处理
研究使用了来自The Cancer Genome Atlas (TCGA) 的breast cancer患者样本，包含匹配的digital whole-slide images和基因表达谱（共20,436个基因）。最终纳入345名患者。
根据5年生存状态，将患者分为longer-term survivors（长期存活者，标签0，预后好）和shorter-term survivors（短期存活者，标签1，预后差）。
数据预处理：
- 基因数据：经过缺失值过滤和z-score归一化后，使用FSelector包进行特征选择，最终选取了信息量最高的32个基因特征。
- 病理图像：将x40倍率的WSI切片为1000x1000像素的图块，并根据图像密度选择前10个最密集的图块。然后使用CellProfiler提取2343个图像特征（如细胞核大小、形状、纹理等）。同样，经过归一化和特征选择后，保留了32个图像特征。
GPDBN模型架构
GPDBN主要由三个核心模块组成：Inter-BFEM, Intra-BFEMs和一个多层深度神经网络。
1. 模态间双线性特征编码模块 (Inter-BFEM)
为了捕捉不同模态特征间的复杂关系，作者提出了Inter-BFEM。
给定从基因组数据和病理图像中提取的L维特征向量$g, p \in \mathbb{R}^{L \times 1}$。 Inter-BFEM利用$g$和$p$的双线性函数来生成K维的inter-modality bilinear feature（模态间双线性特征）$f_{inter} \in \mathbb{R}^{K \times 1}$。其第$k$个特征的计算公式为：
\[f_{inter_k} = \text{ReLU}(W_k \text{vec}(gp^T) + b_k)\]其中，$\text{vec}(\cdot)$是将矩阵向量化的操作符，$W_k$和$b_k$是可学习的权重矩阵和偏置项。这个公式等价于：
\[f_{inter_k} = \text{ReLU}\left( \sum_{i=1}^{L} \sum_{j=1}^{L} w_{ijk} g_i p_j + b_k \right)\]这个模型显式地对每一对来自不同模态的特征$(g_i, p_j)$之间的交互进行建模。为了平衡计算开销，研究中设置$L=32, K=20$。
2. 模态内双线性特征编码模块 (Intra-BFEMs)
除了模态间的关系，单一模态内部的特征关系也对预后预测至关重要。因此，作者为基因组特征和图像特征分别设计了一个Intra-BFEM。
以基因组特征为例，M维的intra-modality bilinear features（模态内双线性特征）$f_{intra_g} \in \mathbb{R}^{M \times 1}$的计算方式如下：
\[f_{intra_{g_m}} = \text{ReLU}(W_m^g \text{vec}(gg^T) + b_m^g) \\= \text{ReLU}\left( \sum_{i=1}^{L} \sum_{j=1}^{L} w_{ijm}^g g_i g_j + b_m^g \right)\]图像特征的$f_{intra_p}$计算方式类似。这相当于对单一模态内的所有特征对$(g_i, g_j)$的交互进行建模。
Intra-BFEMs的最终输出是将原始特征与生成的双线性特征进行拼接（concatenation）：
\[\hat{f}_{intra_g} = g \oplus f_{intra_g}\\ \hat{f}_{intra_p} = p \oplus f_{intra_p}\]其中，$\oplus$表示向量拼接。
3. 预后预测
最后，为了利用intra-modality和inter-modality关系之间的互补信息，GPDBN将这三组特征拼接成一个组合特征向量$h \in \mathbb{R}^{K+2M+2L}$，并将其输入一个多层深度神经网络进行最终的分类预测。
\[h = \hat{f}_{intra_g} \oplus f_{inter} \oplus \hat{f}_{intra_p}\]该多层神经网络由4个全连接层组成，使用ReLU作为激活函数，并最终通过一个softmax输出层得到预测为短期或长期存活者的概率。
4. 训练
GPDBN是一个统一的学习框架，使用标准的二元交叉熵损失函数进行端到端的训练：
\[L = -\frac{1}{N} \sum_{n=1}^{N} [y_n \ln P(y_n=1|g_n, p_n) + (1-y_n) \ln(1-P(y_n=1|g_n, p_n))]\]模型使用Adam优化器进行训练，并采用了mini-batch训练策略。
3. 实验分析
3.1 GPDBN的性能评估（消融研究）
为了验证GPDBN中各个模块的有效性，作者进行了一系列消融实验，比较了不同模型配置的性能。
- Intra-BFEM的有效性：与基线模型（BaselineG和BaselineP）相比，引入了Intra-BFEM的模型（Intra-BFEMG和Intra-BFEMP）在C-index和AUC上都有一致的提升。例如，Intra-BFEMG的C-index比BaselineG高出0.021。这证明了捕捉模态内关系对于预后预测是有益的。
- Inter-BFEM的有效性：与简单的特征拼接（BaselineGP）相比，引入了Inter-BFEM的模型（Inter-BFEM*）也取得了更好的性能（C-index从0.703提升到0.708）。这表明Inter-BFEM能够有效捕捉复杂的模态间关系。
- GPDBN的优越性：GPDBN通过同时采用Intra-BFEM和Inter-BFEM，取得了所有模型中最佳的性能（C-index=0.723, AUC=0.817），显著优于所有其他配置。这证明了其核心思想的成功：即模态内关系和模态间关系是互补的，整合两者能带来最佳的预测性能。
作者还比较了在固定的高specificity (Sp) 水平下，不同模型的sensitivity (Sn)、accuracy (Acc)等指标。结果同样显示，引入Intra-BFEM和Inter-BFEM都能带来性能提升，而GPDBN在所有指标上都持续表现最佳。
3.2 与现有方法的比较
作者将GPDBN与多种现有的非深度学习和深度学习方法进行了比较。
- 单模态性能：在仅使用基因组数据时，所有方法的性能都相当不错，再次证实了基因组数据在预后预测中的关键作用。在仅使用病理图像时，deep learning-based方法（MDNNMD, GPDBN）普遍优于传统方法。
- 多模态性能：当同时使用两种模态时，大多数方法的性能都得到了提升，表明病理图像提供了基因组数据之外的额外预测信息。
- GPDBN的领先地位：在所有比较中，GPDBN取得了最高的C-index（0.723）和AUC（0.817），显著优于所有其他方法。这再次证明了GPDBN在有效整合多模态数据方面的优越性。
3.3 生存曲线分析与特征可视化
作者绘制了不同方法预测结果的Kaplan-Meier生存曲线。曲线的分离程度反映了模型区分好预后和差预后患者的能力。log-rank test P值越小，表示分离越显著。GPDBN取得了最小的P值（6.802E-15），其生存曲线分离得最开，表明其在风险分层上的能力最强。
作者使用t-SNE将不同阶段的特征降维到二维空间进行可视化。原始的基因组和病理图像特征（上排）中，两类患者（红星和蓝点）混合在一起，难以区分。经过Intra-BFEM提取的抽象特征（中排）显示出更好的分离趋势。最重要的是，经过GPDBN融合后提取的组合特征（右下角）显示出最清晰的分离，两类患者形成了两个几乎完全分开的簇。这直观地证明了GPDBN强大的特征学习和表示能力。
