使用卷积网络从组织学和基因组中预测癌症.

paper：Predicting cancer outcomes from histology and genomics using convolutional networks

0. TL; DR

作者开发了一种名为Survival Convolutional Neural Networks (SCNNs) 的深度学习计算方法，能够直接从肿瘤的histology（组织学）显微图像中学习并预测患者的总生存期（overall survival）。

作者进一步提出了一个统一的框架，将histology图像信息和genomic（基因组）生物标志物（如IDH突变和1p/19q共缺失）整合到一起，创建了Genomic SCNN (GSCNN) 模型。在胶质瘤（glioma）患者的生存预测任务中，该模型的预测准确性超越了当前基于基因分型和人工组织学分级的临床标准。

1. 背景介绍

一个多世纪以来，histology（组织学）一直是癌症诊断和预后评估的重要工具。病理学家通过评估细胞核异型性、有丝分裂活性、细胞密度和组织结构等特征来对病变进行分类和分级。尽管如今的预后越来越依赖于测量遗传变异、基因表达和表观遗传修饰的基因组生物标志物（genomic biomarkers），但histology仍然是预测患者疾病未来进程的重要手段。组织学中存在的表型信息，反映了分子改变对癌细胞行为的综合效应，为疾病的侵袭性提供了一个直观的可视化读出。

然而，人类对histology的评估高度主观且缺乏可重复性，这使得对histology图像的计算分析备受关注。Deep convolutional neural networks (CNNs) 作为一种强大的图像分析工具，已经彻底改变了许多应用领域。与传统的特征工程方法（即先分割结构，再测量预定义特征）不同，CNNs的特征学习范式能够自适应地从原始图像数据中学习对特定任务具有高度预测性的特征。

尽管CNNs取得了巨大成功，但将其应用于医学领域，尤其是时间-事件预测（如生存分析），面临着独特的挑战：

数据稀缺：训练CNNs需要大量标记数据，而医学应用往往面临数据不足的问题。
黑箱问题：CNNs的决策过程难以解释，限制了其在临床上的可信度。
生存分析的复杂性：将生存分析问题简化为二元分类（如预测5年生存率）会丢失信息，且无法处理删失数据。而传统的生存模型，如Cox回归，虽然可以处理这些问题，但如何与复杂的CNNs有效结合仍是一个难题。
肿瘤内异质性：一份组织活检通常包含多种histologic模式，对应不同的疾病进展程度。如何整合这些异质区域的信息是预测结果的关键。

针对以上挑战，作者提出了一种名为survival convolutional neural networks (SCNNs) 的方法，它能够从histology图像中高度准确地预测时间-事件结局。作者以弥漫性胶质瘤（diffuse gliomas）作为驱动应用，系统地展示了该方法的有效性，并进一步将其扩展为一个能够整合图像和基因组数据的统一预测框架。

2. SCNNs 模型

2.1 生存卷积神经网络 (SCNN)

SCNN模型的核心是将deep learning的CNNs与传统的生存模型无缝集成，以学习histology图像中与生存相关的模式。其流程如图1所示。

数据准备与训练

首先将H&E染色的组织切片数字化为全切片图像（whole-slide images）。然后，通过一个网络平台手动识别出包含代表性肿瘤组织且无伪影的regions of interest (ROIs)。

从ROIs中采样的high-power fields (HPFs) 被送入SCNN。该网络主要由三部分构成：

卷积层：利用卷积核和池化操作，在多个尺度上从HPF图像中提取视觉特征。
全连接层：对卷积层提取的图像特征进行进一步的非线性变换和组合。
Cox模型层：网络的最后一层，输出一个对患者风险的预测值。

网络的权重（包括卷积核）通过反向传播算法进行训练。其目标是优化网络的参数，使得基于网络预测风险计算出的统计似然最大化。对于一批输入样本，该损失函数的计算公式为：

\[L(\beta, X) = -\sum_{i \in U} \left( \beta^T X_i - \log \sum_{j \in \Omega_i} e^{\beta^T X_j} \right)\]

其中 $\beta^T X_i$ 是网络对第$i$个HPF样本预测的风险值，$X_i$是Cox模型层之前的全连接层输出的特征向量，$\beta$是Cox层的权重。$U$ 是样本集中事件已发生（非删失）的样本集合。$\Omega_i$ 是在患者$i$的事件发生时间点，所有仍“处于风险中”（at-risk）的样本集合，即所有事件时间或最后随访时间大于等于患者$i$的样本。

通过最小化这个$L(\beta, X)$，网络被驱动去学习那些能够最好地区分不同生存风险患者的视觉特征。

图像采样与风险过滤策略

为了应对肿瘤内异质性和训练样本有限的挑战，作者设计了一套精巧的采样和过滤技术。

在每个训练epoch开始时，从每个患者的每个ROI中随机采样一个新的HPF。对每个采样的HPF应用数据增强技术，包括随机的旋转、对比度和亮度变换。将这些经过变换的HPF视为半独立的训练样本，与患者的生存结局配对，用于更新网络权重。这种策略极大地扩充了有效的训练数据量，并迫使网络学习对组织方向和染色差异具有鲁棒性的特征。

对于一个待预测的新患者，从其每个ROI中采样9个HPFs。使用训练好的SCNN模型为这9个HPFs中的每一个预测一个风险值。在每个ROI内部，计算这9个风险值的中位数，得到该ROI的代表性风险。这可以有效排除因图像伪影等造成的异常风险预测。将一个患者所有ROIs的中位风险值进行排序。选择第二高的风险值作为该患者最终的风险预测。这个步骤旨在模拟病理学家根据样本中最恶性的区域来判断预后的行为，而选择第二高值而不是最高值，是为了增加对异常值的鲁棒性。

2.2 基因组生存卷积神经网络 (GSCNN)

为了将histology和genomic数据整合到一个统一的预测框架中，作者开发了Genomic Survival Convolutional Neural Network (GSCNN) 模型。

GSCNN将genomic数据（如IDH突变状态和1p/19q共缺失状态）作为额外的输入，直接并入到SCNN的全连接层中。这意味着在训练过程中，网络能够同时接触到图像信息和分子信息，从而学习这两者之间的复杂交互。Genomic数据为网络提供了分子亚型的上下文，这可能影响网络对histology模式的解读，从而实现更精准的风险预测。

3. 实验分析

作者使用来自The Cancer Genome Atlas (TCGA) 的769例gliomas数据对所提出的方法进行了系统性验证。该数据集包含了WHO II、III、IV级的星形细胞瘤（astrocytomas）和少突胶质细胞瘤（oligodendrogliomas）。

3.1 SCNN的预后准确性评估

作者通过蒙特卡洛交叉验证评估了模型的性能，使用Harrell’s c index作为准确性度量（c index为1表示完美预测，0.5表示随机猜测）。

仅基于histology图像的SCNN模型取得了显著的预后能力，中位c index为0.754。该性能与仅基于手动组织学分级的基线模型（c index = 0.745）和仅基于分子亚型的基线模型（c index = 0.746）相当。

（Figure B）SCNN的性能略低于整合了分子亚型和组织学分级的当前WHO临床标准模型（c index = 0.774）。一个关键发现是，如果不使用作者提出的采样和排序技术（SCNN w/o resampling），SCNN模型的性能会显著下降到0.696。这证明了该采样策略对于提升模型性能和鲁棒性的重要性。
（Figure C）SCNN预测的风险与molecular subtype和histologic grade高度相关。在每个分子亚型内部，SCNN预测的风险随着组织学分级的增加而增加。SCNN预测的风险也与不同分子亚型的已知侵袭性一致：IDH-wt astrocytoma风险最高，IDH-mutant astrocytoma次之，Oligodendroglioma风险最低。值得注意的是，对于grade III的astrocytomas，SCNN能够显著区分IDH突变型和野生型（P=6.56e-20），而这两种亚型在组织学上很难区分，但预后却天差地别。这表明SCNN能从图像中捕捉到与IDH突变相关的细微形态学差异。
（Figure D）将SCNN的连续风险预测值通过设定阈值转换为低、中、高三个数字等级，并与手动的组织学分级进行Kaplan–Meier生存分析比较。结果显示，在每个分子亚型中，SCNN风险类别对生存曲线的区分能力与手动组织学分级非常相似。例如，在IDH WT astrocytomas中，两者都能很好地分层患者生存。在IDH mutant astrocytomas中，两者都难以区分II级和III级，但都能清晰地将IV级识别为预后最差的组。这表明SCNN有效地实现了对histology的“数字分级”。

3.2 GSCNN整合基因组生物标志物提升性能

作者进一步评估了整合了基因组信息的GSCNN模型的性能。

通过将IDH突变和1p/19q共缺失信息整合到网络中，GSCNN模型的中位c index从0.754显著提升至0.801。GSCNN的性能显著优于当前基于同等输入信息（分子亚型+组织学分级）的WHO临床标准（P=1.06e-2）。

作者还比较了深度整合（GSCNN）与浅层整合（先用SCNN预测风险，再将风险值与基因组变量放入一个简单的Cox模型）的性能。结果显示，深度整合的GSCNN性能更优，证明了在训练过程中同时学习图像和基因组信息的价值。

3.3 多变量分析

下表展示了多变量Cox回归分析的结果，用于评估SCNN和GSCNN风险预测的独立预后能力。

在包含SCNN风险、亚型、分级、年龄和性别的多变量模型中，SCNN风险是一个非常强的独立预测因子（Hazard Ratio = 3.05, P < 0.001），而histologic grade则不显著。这表明SCNN已经从图像中捕获了与手动分级相关的预后信息。

在GSCNN模型中，GSCNN风险的Hazard Ratio更高（8.83），其独立预测能力更强。有趣的是，此时molecular subtype不再显著（其信息已被GSCNN吸收），而histologic grade变得边缘显著。这暗示GSCNN可能仍未完全捕获图像中所有的预后价值。

3.4 可视化解释

为了揭示SCNN的“黑箱”，作者使用了heat map可视化技术，在全切片图像上展示了模型预测的风险分布（红色表示高风险，蓝色表示低风险）。

TCGA-DB-5273 (Top)：SCNN清晰且特异性地将早期微血管增生（early microvascular proliferation）区域标记为高风险。这是glioma恶性进展的标志性特征，也是病理学家用于分级的关键依据。
TCGA-S9-A7J0 (Middle)：SCNN能够准确区分正常的皮层（低风险）和被肿瘤浸润的区域。有趣的是，模型将稀疏浸润（sparsely infiltrated）的皮层区域（region 1 in Top）赋予了比更致密的肿瘤区域（region 2）更高的风险。
TCGA-TM-A84G (Bottom)：SCNN将邻近肿瘤的水肿（edematous）区域（region 1 in Bottom）标记为高风险。

这些热图表明，SCNN不仅学习到了病理学家已知的、与不良预后相关的组织学特征（如微血管增生、细胞密度），还识别出了一些当前未被认为是分级标准的、具有潜在预后意义的新模式（如特定模式的浸润和水肿）。这为发现新的病理学生物标志物提供了可能。