PAGE-Net: 整合病理图像与基因组数据的可解释性深度学习进行生存分析.
0. TL; DR
本文提出了具有生物学可解释性的PAGE-Net（histoPAthological images and GEnomic data Network）模型。该模型由病理学、基因组学和人口统计学三个特定层组成，每一层都提供了对生物学机制和组织病理学模式的全面解释。
作者提出了基于图像块纹理的卷积神经网络，并配合图像块聚合策略，能够自动从WSI中提取与生存相关的全局判别性特征，无需任何手动标注。对于基因组数据，模型改编了基于通路的稀疏深度神经网络，将生物学通路知识融入网络结构。
作者在The Cancer Genome Atlas (TCGA) 和The Cancer Imaging Archive (TCIA) 的Glioblastoma Multiforme (GBM)（多形性胶质母细胞瘤）数据集上对PAGE-Net进行了评估。结果显示，PAGE-Net的C-index达到了0.702，显著高于仅使用病理图像（0.509）或仅使用基因组数据（Cox-PASNet，0.640）的模型。更重要的是，PAGE-Net能够同时识别与患者生存相关的组织病理学和基因组预后因素。
1. 背景介绍
组织病理学作为癌症诊断和预后的临床金标准，为治疗决策提供了关键的形态学信息。Whole Slide Imaging (WSI) 的数字化进一步推动了其在计算分析中的应用。高通量基因组数据则揭示了癌症的分子谱。整合histopathological images和genomic data为癌症研究提供了从表型模式到遗传机制的深入理解，从而增强了个性化治疗和生存预测。
然而，将这两者结合面临着巨大挑战：
- 数据异质性与复杂性：非结构化的、千兆像素级别的WSI与结构化的基因组数据在数据结构和维度上存在巨大差异。
- 手动标注的瓶颈：许多现有的整合模型依赖于病理学家手动标注ROIs，这不仅耗时费力，而且主观性强。
- 特征选择的局限：一些模型为了降低维度，仅使用已知的生物标志物作为输入，这限制了模型发现新预后因素的能力。
为了克服这些挑战，作者提出了一个具有生物学可解释性的整合PAGE-Net模型。该模型旨在自动地从WSI中提取生存判别性特征，并将其与包含生物学先验知识的基因组分析相结合，以提高生存预测的准确性，并识别新的预后因素。
2. PAGE-Net 模型
PAGE-Net的整体架构如图所示，它由三个特定层组成：pathology-specific layers（病理学特定层）、genome-specific layers（基因组特定层）和demography-specific layer（人口统计学特定层）。这些层的输出最终被整合到一个共享层，以估计Cox比例风险回归模型中的Prognostic Index (PI)（预后指数）。
2.1 病理学特定层 (Pathology-specific layers)
该层的目标是自动从WSI中提取全局的、与生存相关的判别性特征，其核心是一个新颖的patch-wise texture-based CNN和一个两阶段的聚合策略。
1. 基于图像块的预训练CNN (Patch-wise pre-trained CNN)
首先需要一个模型来识别在patch层面上有哪些特征图是与生存相关的。作者训练了一个CNN模型，但只使用未删失数据（即已知确切生存时间的患者数据）的图像块进行训练。这是一个巧妙的设计，因为它直接让模型学习与“死亡事件”相关的图像模式。
该CNN采用了空洞卷积层。扩张卷积能够在不增加参数数量和计算成本的情况下，扩大感受野，从而捕捉到更丰富的纹理信息。网络由三对扩张卷积层（核大小5x5，50个特征图，扩张率2）和最大池化层组成，最后连接一个全连接层和一个线性的输出层。训练完成后，这个CNN最后一个最大池化层的50个神经元的输出被视为生存判别性特征图。
2. 两阶段聚合策略 (Two-stage aggregation)
在获得了能够在patch层面识别生存相关特征的预训练CNN后，需要一种策略将从一张WSI的多个patches中提取的局部特征聚合为全局特征。作者采用了一种两阶段的3-范数池化聚合策略。
第一阶段池化（特征内聚合）
对于一个patch，预训练的CNN会产生$N$个生存判别性特征图（$N=50$）。对于第$i$个特征图$X_i$（大小为$h \times w$），首先将其展平并降序排列。然后，只选取前$K_1$个最高值的特征，并计算它们的3-范数池化值：$f_i = \frac{1}{K_1} \left( \sum_{j=1}^{K_1} (\tilde{x}_{fj})^3 \right)^{1/3}$。这样，每个patch就被表示为一个$N$维的向量，其中每个元素$f_i$代表了该patch上第$i$个生存判别性特征的聚合得分。
第二阶段池化（特征间聚合）
对于一张包含$M$个patches的WSI，现在有了一个$M \times N$的特征矩阵$F$。对矩阵的每一列（即在所有patches上的同一种特征图得分）进行降序排列。然后，只选取前$K_2$个得分最高的patches，并对它们进行3-范数池化。最终，一张WSI被表示为一个$N$维的向量，其中每个元素代表了该WSI上最重要的patches中，某一种生存判别性特征的全局聚合得分。
2.2 基因组和人口统计学特定层
这部分改编自Cox-PASNet模型，其核心是将生物学先验知识融入网络结构。
- 基因组特定层：
- Gene layer：输入层，每个节点代表一个基因。
- Pathway layer：该层的节点代表生物学通路（如来自KEGG数据库）。基因层和通路层之间的连接是稀疏的，仅当一个基因属于某个通路时才存在连接。这使得模型具有生物学可解释性。
- Hidden layers (H1, H2)：两个隐藏层，用于捕捉通路之间的非线性和层次关系。
- 人口统计学特定层 (Clinical layer)：用于输入临床数据（如年龄），并与基因组和病理学特征在模型的最后一个隐藏层中结合。
2.3 模型训练
为了应对高维、小样本数据带来的过拟合问题，PAGE-Net采用了Cox-PASNet的训练策略。它不是一次性训练整个网络，而是随机选择小部分网络进行训练，并应用稀疏编码使连接稀疏。使用Adam优化器和均方误差（MSE）作为损失函数。通过网格搜索优化学习率和L2正则化等超参数。
3. 实验分析
3.1 实验设置
数据集使用了TCGA和TCIA中447名GBM患者的histopathologcial images, 基因表达数据和临床数据。
比较方法：
- Cox-EN：使用elastic net正则化的Cox回归模型，输入为聚合后的图像特征。
- Cox-PASNet：仅使用基因表达和年龄数据。
- PAGE-Net：整合所有模态数据。
使用concordance index (C-index) 进行评估，实验重复20次以保证结果的复现性。
3.2 性能比较
PAGE-Net取得了最高的C-index，均值为0.702 ± 0.0294。Cox-PASNet（仅基因组数据）的C-index为0.6401 ± 0.00399。Cox-EN（仅图像数据）的C-index最低，为0.5093 ± 0.0460。
PAGE-Net的性能显著优于所有单模态模型（p < 0.0001）。有趣的是，虽然病理图像本身对预测性能的贡献很小，但当它与基因组数据在PAGE-Net中整合后，极大地提升了模型的整体性能。这证明了数据整合的强大威力。
3.3 模型解释
作者进一步对训练好的PAGE-Net模型进行了解释，以探究其决策依据。
1. 病理学模式解释
该图展示了三位不同生存期患者的patch图像及其对应的生存判别性特征图（红色区域表示高分）。可以观察到，生存判别性特征图主要捕捉了图像块中的细胞核和细胞核碎片。在GBM中，细胞核间的边界不清晰，细胞核的形状和核碎片（意味着细胞坏死）是重要的病理学检查点。
经病理学家评估，生存期最短的患者（第一行）的patch在nuclear pleomorphism（核多形性）、cytoplasmic degeneration（细胞质变性）和brown pigment（棕色色素）等指标上得分最高（+3），而另两位患者得分较低。这表明，PAGE-Net不仅识别出了与病理学家关注点一致的形态学模式，还能自动定位与患者生存相关的关键区域。
2. 基因组模式解释
作者通过计算偏导数对基因组特定层中的通路和基因进行排序。
- 通路层面：PAGE-Net识别出的排名最高的通路，如Neuroactive ligand-receptor interaction, Axon guidance, Endocytosis, Cytokine-cytokine receptor interaction等，都在先前的研究中被证实与GBM密切相关。
- 基因层面：PAGE-Net识别出的高排名基因，如ADORA2A, MET, HTR7等，也都是已知的GBM相关基因或致癌基因。例如，高表达的ADORA2A是WHO给出的高级别胶质瘤的证据之一；MET是胶质母细胞瘤干细胞中的一个功能性标志物。
该图以分层的方式展示了PAGE-Net的生物学解释机制。在病理学特定层，模型捕捉到细胞核和核碎片等形态学模式。在基因组特定层，激活的基因（如ADORA2A）触发了通路（如Neuroactive ligand-receptor interaction），这些通路再以非线性的方式与其他通路相互作用，最终影响患者的生存预测。Kaplan-Meier图显示，模型中的一个隐藏层节点（Node 13）的输出值能够显著地区分患者的生存分布，表明这个节点本身可以作为一个潜在的预后因素。
