利用深度神经网络融合病理与基因对Gleason 7分前列腺癌进行复发分析.

0. TL; DR

本文通过深度神经网络整合了公开可用的histopathology（组织病理学）whole-slide images (WSIs) 和genomic（基因组）数据，以识别一组计算生物标志物。该系统创新地使用CNN提取图像patch特征，并利用LSTM网络来建模patches在WSI中的空间关系。同时，从RNA序列中量化的通路得分被输入一个MLP以提取基因组特征。

作者在一个公开的前列腺癌数据集上进行了实验。通过一个生存模型，实验结果表明：作者提出的方法提取的computational biomarkers的hazard ratio（风险比）高达5.73，C-index为0.74。这些指标均高于标准的临床预后因素（如PSA、年龄、肿瘤分期）和其他工程化的图像纹理特征。

1. 背景介绍

Prostate cancer（前列腺癌）是西方世界最常见的非皮肤性恶性肿瘤。Gleason score是基于代表性组织病理学标本的显微镜评估，由病理学家给出的一个评分，是预测前列腺癌生存率的强有力指标。

尽管有明确的指南，但Gleason分级仍然是一个相对主观的过程，不同病理学家之间的评分差异可达约30%。因此，开发计算机辅助的Gleason分级方法对于引入客观、可重复的标准至关重要。

除了形态学，基于微阵列的基因表达谱也已在各种研究中被用于识别癌症亚型、确定recurrence-free survival (RFS)（无复发生存期）和表征对特定疗法的反应。然而，至今没有研究将患者的病理图像和基因组通路分析结合起来，专门用于预测Gleason score 7前列腺癌男性的RFS。

近年来，whole-slide image (WSI) 和deep learning技术（特别是CNN）的发展，为组织病理学图像分析带来了重大进步。但由于WSI的尺寸巨大（千兆像素级别），直接用其训练CNN是不切实际的。因此，基于patch（图像块）的算法被广泛应用。

本文中，作者旨在开发一个计算生物标志物量化系统，该系统将WSI和genomic data整合到一个深度神经网络中。作者创新性地使用LSTM来建模WSI中不同patches之间的空间关系，从而更全面地利用图像信息。

2. 方法介绍

作者提出的方法包含四个步骤：(1) 从RNA序列中量化通路活性得分；(2) 对WSI进行预处理以获取patches；(3) 使用深度学习方法整合图像patches和通路得分，提取computational biomarkers；(4) 将这些生物标志物与临床因素一同输入生存模型进行复发分析。

2.1 实验数据集与预处理

数据来自Genomic Data Commons (GDC) 门户网站，其中包含了The Cancer Genome Atlas (TCGA) 的前列腺癌数据。

在40倍物镜下，将WSI自动裁剪为不重叠的4096x4096像素的patches。所有patches被统一缩放到256x256大小。自动筛选出组织区域占比至少为20%的patches。

使用来自Gleason score 7患者的RNA测序数据。应用一个包含265个已发表的基因表达标志的面板，来识别每个肿瘤中致癌信号通路的激活模式。 对于每个标志（通路），计算其所含基因的平均表达值，作为该样本的通路得分。

2.2 计算生物标志物的提取

作者构建了一个统一的深度学习系统来从WSI和genomic data中提取computational biomarkers。该网络架构如图所示。

1. 建模病理图像块和基因组数据

将计算出的通路得分输入一个包含三个全连接（FC）层的MLP。最后一层FC的输出作为基因组特征。使用AlexNet来从图像patches中提取特征。

将从MLP获得的基因组特征与从AlexNet倒数第二层获得的图像特征进行拼接。拼接后的特征向量被送入一个FC层，其输出将作为LSTM的输入。

2. 利用LSTM建模空间关系

为了捕捉WSI中相邻patches之间的空间关系，作者将这些patches视为一个序列，并使用LSTM网络进行建模。

根据patches的中心坐标，将它们从右上到左下排列成一个序列。LSTM的核心是其记忆单元，它包含输入门、遗忘门和输出门，使其能够学习长程依赖关系。在网络顶部应用一个平均池化层，以获得代表整个WSI和基因组数据的computational biomarkers。

3. 多任务损失函数

为了让网络更好地学习Gleason模式的分布，作者使用了多任务损失函数。在训练时，为每个样本（WSI和通路得分）同时提供了primary pattern（主要模式）和Gleason score（总分）两个标签。损失函数定义为两个分类任务的交叉熵损失之和：

\[L_{multitask} = - \sum_{i=0}^{N} t_{pi} \cdot \log \hat{t}_{pi} - \sum_{i=0}^{N} t_{si} \cdot \log \hat{t}_{si}\]

其中，$t_{pi}, t_{si}$是主要模式和总分的one-hot编码标签， \(\hat{t}_{pi}, \hat{t}_{si}\) 是模型的预测。

2.3 生存模型

作者使用Cox proportional-hazards regression model（Cox比例风险回归模型）来研究患者的recurrence-free survival (RFS)。

模型的输入变量包括提取的computational biomarkers以及标准的临床预后因素（主要和次要Gleason模式、PSA、年龄、肿瘤分期）。

风险函数$H$定义为：

\[H(X_i, l_i, t_i) = H_0(t) \exp\left(\sum_{j=1}^{p} x_{ij}\beta_i\right)\]

其中，$H_0(t)$是基线风险函数，$x_{ij}$是患者$i$的第$j$个协变量（生物标志物或临床因素），$\beta_i$是回归参数。

使用hazard ratio（风险比）和concordance index (C-index) 来评估模型的预测能力。值越高，表示该特征与疾病复发的相关性越高。

3. 实验分析

作者在GDC数据门户网站的公开前列腺癌数据集上验证了他们的方法。

3.1 通路分析

为了定性评估Gleason score 7肿瘤中4+3和3+4亚型的通路活性模式差异，作者对265个基因表达标志进行了Student’s t-test。

热图显示了27个显著差异的信号通路（p < 0.01）。在Gleason 4+3肿瘤中，14个标志显著上调，包括三个增殖标志（Wirapati, UNC, murine proliferation）以及与BMYB, RB-LOSS, PIK3CA, HERI信号相关的增殖标志。在Gleason 3+4肿瘤中，13个标志显著上调，主要与免疫系统相关，如Th17 cells, Tcm, NK-CD56, HGF, STAT3信号。这一发现与现有文献一致，即Gleason 3+4肿瘤比4+3肿瘤预后更好，这与4+3肿瘤中相对更高的增殖水平和更低的免疫相关信号水平相对应。

3.2 整合复发分析

1. 仅图像数据的复发分析

该表展示了仅使用WSI时，不同图像特征提取方法与临床因素结合后的复发风险比和C-index。与传统纹理特征（LBP, HOG, SURF）相比，基于CNN的方法（CNN-Only, CNN-LSTM）提取的图像特征具有更高的风险比和C-index。CNN-LSTM的性能最佳，其图像特征的风险比达到了5.06，C-index为0.71。这证明了考虑patches空间关系的LSTM网络的有效性。

2. 图像与基因组数据的整合复发分析

作者首先分析了图像特征和通路得分之间的相关性，发现两者之间没有显著相关性（p > 0.05），表明它们提供了互补的信息，适合进行整合。

该表展示了整合图像特征和通路得分（Pathway Scores, PS）后的结果。与仅使用通路得分（PS）或其他纹理特征相比，基于CNN的方法性能更优。CNN-LSTM + PS方法取得了最佳性能。其提取的computational biomarkers的风险比高达5.73，C-index达到了0.74。在CNN-LSTM + PS模型中，primary pattern的风险比也达到了2.56，远高于其他模型，这表明整合多模态数据后，模型对已知临床因素的风险评估也更加准确。这些结果表明，CNN-LSTM + PS模型在Gleason score 7前列腺癌的复发分析中，超越了所有其他方法和临床因素。