用于乳腺癌生存预测的病理图像与基因组数据融合框架.

paper：A Novel Pathological Images and Genomic Data Fusion Framework for Breast Cancer Survival Prediction

0. TL; DR

本文提出了一种病理图像与基因表达数据融合框架，用于乳腺癌（breast cancer）的生存预测。该框架能够分别从whole slide images (WSIs) 和经过降维的基因表达数据中提取相关的多尺度深度特征，并进行联合生存分析。

实验结果表明，整合了多层次图像和基因组特征的模型，其生存预测准确性显著高于仅使用单一来源特征的模型。

1. 背景介绍

乳腺癌是全球范围内发病率和死亡率都很高的恶性肿瘤。在此背景下，准确的诊断对于实现精准医疗至关重要。在临床上，诊断过程需要病理学家手动评估WSIs中数以百万计的细胞和组织。此外，包括基因表达谱和遗传变异在内的基因组生物标志物也越来越多地被用于预后评估。

近年来，开发计算机辅助诊断方法已成为研究热点。然而，现有方法大多面临以下问题：

单数据源限制：大多数方法仅使用单一来源的数据（如病理图像），无法有效利用患者的其他多源数据，如基因表达数据和药物信息。
特征相关性不足：一些融合多源数据的方法通常依赖于手动选择的ROIs来提取图像特征。这种方式无法有效地提取与基因相关的图像特征，并且预处理步骤复杂。
深层关联挖掘不足：现有方法很少能够揭示不同特征之间的深层相关性。

为了解决这些问题，作者提出了一个基于深度学习的三阶段诊断框架。该框架能够自动地融合从WSIs和基因表达数据中提取的特征，用于生存预测，旨在挖掘多源数据间的深层关联，并提升预测的准确性。

2. 方法介绍

框架整体工作流程如图所示，它将整个任务分解为三个有序的阶段。

第一阶段：图像预处理与区域检测

由于WSI的尺寸巨大（可能包含数十亿像素），直接处理非常困难。因此，第一阶段的目标是从原始WSI中定位出有价值的分析区域。

1. 肿瘤检测

首先，使用Otsu阈值法从WSI中提取组织区域，并将其切割成256x256的patches。在训练阶段，作者对这些patches应用了数据增强技术，包括随机裁剪、翻转、旋转、平移和颜色增强。

随后将这些patches输入一个CNN网络来获取每个patch的肿瘤概率。该网络架构如图所示，它结合了FPN 和ResNet。FPN用于从单一分辨率的输入图像生成多尺度的特征金字塔。在金字塔的每个层级，使用ResNet进一步提取肿瘤特征。最后，将金字塔各层级的输出拼接起来，通过一个全连接网络得到最终的肿瘤概率。将所有patches的预测结果组合起来，生成整张WSI的肿瘤概率热图。

2. 细胞核分割

作者使用了一个无监督的Deep Conventional Gaussian Mixture Model (DCGMM) 模型来进行细胞核分割。DCGMM利用一个CNN网络来拟合像素颜色分布的高斯混合模型。所有参数通过梯度下降算法优化，以最大化负对数似然函数：

\[\ln \, p(X|\pi, \mu, \Sigma) = \sum_{n=1}^{N} ln \left\{ \sum_{k=1}^{K} \pi_k N(x|\mu_k, \Sigma_k) \right\}\]

其中$N$是输入图像$X$的总像素数。$K$是高斯混合成分的数量。$\pi_k$是混合系数，$\mu_k$和$\Sigma_k$分别是第$k$个高斯分布的均值和协方差矩阵。通过该模型，可以生成细胞核密度图。

3. 区域选择

Tumor Regions (TRs)：基于肿瘤概率热图，从WSI中裁剪出组织级别的肿瘤区域。
Regions of Interest (ROIs)：基于细胞核密度图，在癌细胞分布密集的区域裁剪出细胞级别的感兴趣区域。

第二阶段：图像与基因特征的提取与融合

为了从TRs、ROIs和基因表达数据中提取相关的特征，作者设计了一个条件自编码器。

一个基本的自编码器可以对图像进行编码，但这些特征与基因的关联性通常很差。因此，作者引入了一个基因编码器和一个条件化的训练机制。

图像编码器将输入的图像$x$（TR或ROI）编码为一个特征向量$ỹ$。基因编码器将预处理后的基因表达数据编码为一个目标特征向量$y$。图像将图像编码器输出的特征向量$ỹ$解码，重建出原始图像$x̃$。

该网络同时优化两个目标：

图像重建：确保编码的图像特征$ỹ$能保留足够的原始图像信息。这通过最小化重建图像$x̃$与原始图像$x$之间的$L_{12}$损失来实现。
特征关联：迫使图像编码器提取的特征$ỹ$与基因编码器提取的特征$y$尽可能相似。这通过最小化$ỹ$和$y$之间的$L_{12}$损失来实现。

\[L^x_{12} = L_1(\tilde{x}, x) + L_2(\tilde{x}, x) \\ L^y_{12} = L_1(\tilde{y}, y) + L_2(\tilde{y}, y)\]

总损失函数定义为 $L_{Total} = \alpha \cdot L^x_{12} + \beta \cdot L^y_{12}$，其中$\alpha$和$\beta$是超参数。通过这种方式，图像编码器被“引导”去学习那些与基因表达数据高度相关的视觉特征。

第三阶段：生存分析

在第三阶段，作者采用DeepHit网络作为生存模型，其架构如图所示。

由于一个患者可能对应多个TRs和ROIs，作者使用了一个LSTM网络来将这些可变数量的图像特征编码为一个固定长度的图像特征向量。将该图像特征向量与第二阶段提取的基因特征进行拼接。

DeepHit是一个全连接神经网络，其最后一层是softmax层，输出一个在离散时间点上的事件发生概率分布$y = {y_1, y_2, …, y_{t_{max}}}$。其损失函数包含两部分, 总损失函数为 $L_{Total} = \alpha \cdot L_1 + \beta \cdot L_2$：

对数似然损失 $L_1$：该损失函数的第一部分最大化了未删失样本在事件发生时间的概率，第二部分最大化了删失样本在观察时间之后的累积生存概率。其中$I(k_i \neq \phi)$是一个指示函数，表示事件是否发生。

\[L_1 = -\sum_{i=1}^{N} \left[ I(k_i \neq \phi) \cdot \log(y_{i, s_i}) + I(k_i \neq \phi) \cdot \log(1 - F(s_i|x_i)) \right]\]

排序损失 $L_2$：该损失旨在惩罚排序错误的样本对，即确保生存时间更长的患者应具有更低的累积风险概率。其中$\eta(x, y) = e^{-|x-y|/\sigma}$

\[L_2 = \sum_{i \neq j} I(k_i=1, s_i < s_j) \cdot \eta(F(s_i|x_i), F(s_i|x_j))\]

3. 实验分析

作者使用了来自The Cancer Genome Atlas Program Breast Invasive Carcinoma (TCGA-BRCA) 项目的数据进行实验，共选择了826个病例。

3.1 肿瘤检测与细胞核分割结果

肿瘤检测 (a, b)：肿瘤概率热图准确地标示出了病理医生标注的肿瘤区域。patch分类的准确率达到了96.8%，AUC达到了0.952。作者指出，由于breast invasive carcinoma中癌细胞在许多patches中分布稀疏，导致假阳性率较高，给网络训练带来了挑战。
细胞核分割 (c, d)：图中，细胞核区域被聚类为黄色像素，组织区域为蓝色，背景为绿色。从结果可以看出，细胞核区域被大致地分割了出来，为后续的细胞密度计算提供了基础。

3.2 图像与基因特征相关性分析

为了验证第二阶段提取的图像特征与基因表达数据之间的相关性，作者进行了聚类分析。

该图是一个clustermap，展示了150个图像特征（行）和150个基因（列）之间的皮尔逊相关系数矩阵。图中可以清晰地看到多个红色（强正相关）和蓝色（强负相关）的聚类块。这直观地证明了通过条件自编码器提取的图像特征与特定的基因表达模式之间存在着紧密的关联。

3.3 生存预测结果

作者使用time-dependent concordance index (Ctd-index) 作为评估指标，比较了使用不同数据源时的生存预测性能。Ctd-index越高，表示模型的预测与真实的生存顺序越一致。

单源数据性能：在单一数据源中，Gene数据的预测性能最好（C-Index=0.6912），其次是细胞级别的ROIs（0.6616），最后是组织级别的TRs（0.6279）。
图像特征融合：将TRs和ROIs两种图像特征结合后（TRs&ROIs），性能（0.6781）优于单独使用TRs，表明多层次的图像信息是互补的。
多源数据融合：最关键的发现是，当同时使用图像特征（TRs&ROIs）和基因特征（gene）时，模型的性能达到了最高（C-Index=0.7571）。
统计学显著性：作者通过t-test验证了结果的差异。与所有单源或部分融合的模型相比，完全融合的模型（TRs&ROIs&gene）在预测准确性上都有显著的提升（P值均小于0.05，除了与Gene特征对比时P=5.34e-2，也接近显著水平）。

这些结果有力地证明了作者提出的框架能够有效地融合病理图像和基因表达数据，从而实现比使用单一数据源更准确的生存预测。