肾癌预后预测的跨模态特征整合分析.
0. TL; DR
本文提出了一个基于跨模态特征的整合框架。该框架使用CNNs从CT和组织病理学图像中提取深度特征，同时利用WGCNA 从功能基因组数据中生成特征基因。通过一种改进的无参数多变量特征选择方法从跨模态特征中筛选出最优组合。将筛选出的特征整合到一个Cox模型中，构建一个用于ccRCC的预后模型。
实验结果表明，作者提出的整合模型能够将患者显著地区分为高风险和低风险亚组（P-value < 0.05），并且在独立的测试队列中，其预测性能（C-index: 0.808）优于所有基于单模态特征的模型。
1. 背景介绍
Clear cell renal cell carcinoma (ccRCC) 是最主要的肾细胞癌类型，其临床行为从生长缓慢的局限性肿瘤到侵袭性的远处转移，差异巨大。因此，可靠的预后生物标志物对于分层患者、指导治疗至关重要。目前临床上使用的生物标志物（如肿瘤分期、UISS评分等）大多依赖于病理学家的经验，其预测性能有限。
ccRCC的高度异质性决定了其预后可能受到解剖学、组织学、分子和临床等多种因素的影响。
- Computed tomography (CT) 图像能够无创地揭示肿瘤的结构，为预后预测提供解剖学信息。
- Histopathological images（组织病理学图像）提供了关于肿瘤细胞分化、免疫浸润等重要的微观信息。
- Molecular characteristics（分子特征），如基因表达谱，已被广泛用于预测癌症预后。
然而，现有研究大多存在以下局限性：
- 依赖手工特征：许多方法依赖于研究者经验来设计和提取手工特征，这一过程繁琐且可能丢失重要信息。
- 局限于单模态数据：仅使用单一模态数据会忽略来自其他模态的宝贵预后信息。
Convolutional neural networks (CNNs) 的出现为解决这些问题提供了新途径。CNNs能够以数据驱动的方式自动学习与特定临床任务相关的深度特征。尽管基于deep feature的预后分析取得了快速进展，但很少有研究探讨以下问题：(i) eigengenes（基于WGCNA等方法从基因表达数据中提取的代表性基因模块）与deep features之间是否存在关系？(ii) 整合跨模态特征（即影像的deep features和基因组的eigengenes）是否能提升预后预测性能？
为了解决这些问题，作者提出了一个跨模态特征整合框架，用于构建ccRCC的预后模型，并旨在揭示深度特征与eigengenes之间的相关性。
2. 方法介绍
作者提出的框架流程如图所示，主要包括三个步骤：(A) eigengenes提取，(B) deep feature提取，和(C) 跨模态特征的整合分析。
2.1 患者与数据
作者从TCGA和TCIA获取了209名ccRCC患者的数据，这些患者拥有匹配的histopathological images、transcriptome profiling（转录组谱）、CT images和临床信息。所有患者被随机分为训练集（139人）和测试集（70人）。
2.2 特征基因提取 (Eigengenes extraction)
首先根据变异系数从原始RNA-Seq数据中筛选出前8000个基因。然后，采用weighted gene co-expression network analysis (WGCNA) 来检测基因模块。WGCNA的工作流程包括：构建共表达网络、选择合适的幂指数、构建层次聚类树以识别模块、对模块进行Gene Ontology (GO) 富集分析。
对于每个识别出的基因模块，提取其第一个主成分作为该模块的eigengene（特征基因），代表了整个模块的表达模式。
2.3 深度特征提取 (Deep feature extraction)
作者使用两个结构相同的CNNs分别从CT和histopathological images中提取深度特征。
CT图像统一窗宽窗位后，由ITK-SNAP工具勾画出region of interests (ROIs)，并从中随机采样128x128的patches。组织病理学图像进行染色归一化后，同样采样128x128的RGB patches。
网络由多个卷积块、全局池化层和全连接层组成。每个卷积块包含一个卷积层（3x3或1x1核）、一个batch normalization层和一个ReLU激活函数。
由于每个患者的patch数量不一致，作者采用了一个patch pooling operator来将所有patches的特征聚合起来，最终为每个患者从CT和病理图像中各提取128个深度特征。
网络使用患者的生存时间作为标签进行训练。损失函数采用了Cox partial likelihood（Cox偏似然）的负对数形式：
\[l(\theta) = - \frac{1}{N_e} \sum_{i \in U} \left( f_\theta(x_i) - \log \sum_{j \in X_i} e^{f_\theta(x_j)} \right)\]其中，$f_\theta$是网络输出，$N_e$是事件发生（死亡）的患者数，$U$是右删失患者集合，$X_i$是在时间$Y_i$处于风险中的患者集合。
2.4 跨模态特征的整合分析
在获得了来自基因组数据（eigengenes）和影像数据（deep features）的特征后，需要一个强大的特征选择方法来处理高维度和冗余性问题。
作者改进了一种名为block filtering post-pruning search (BFPS) 的无参数多变量特征选择方法。与Log-rank test或LASSO相比，BFPS的优势在于它是一个多变量方法，且在搜索最优特征子集时，直接使用Cox模型的concordance index (C-index) 作为评价标准，保证了特征选择与最终模型的一致性。
作者采用了一个两步策略。
- 首先，对CT和病理图像的深度特征分别使用BFPS进行选择，以消除单模态内的冗余。
- 然后，将筛选出的CT特征、病理特征和所有的eigengenes组合起来，再次使用BFPS进行选择，以消除跨模态间的冗余。
最终筛选出的跨模态特征被用来构建Cox模型，用于ccRCC的生存预测。作者还使用Spearman test计算了筛选出的深度图像特征与eigengenes之间的相关系数，以探索两者之间的关系。
3. 实验分析
3.1 从基因数据中提取的Eigengenes
通过WGCNA，作者识别出10个大小适中的共表达基因模块。GO富集分析显示，这些模块与重要的生物学功能相关。例如：
- black module: 富集于核糖体结构，这在癌症发生中起重要作用。
- brown和purple modules: 富集于细胞外基质组织，这是肿瘤微环境的关键部分。
- green module: 富集于细胞周期过程，与肿瘤的侵袭性相关。
3.2 从CT/组织病理学图像中提取的深度特征
作者通过可视化CNN的特征图来提供对深度特征的直观理解。
与关注单一纹理（如边缘）的传统特征工程不同，CNN能够同时捕捉到整个微环境的信息，例如从组织病理学图像中捕捉细胞核、细胞质、边缘和细胞间质，从CT图像中捕捉局部解剖边缘、恶性组织和纹理。
3.3 基于跨模态特征选择的预后性能
作者比较了使用单模态和多模态数据构建的Cox模型的性能。
在单模态中，CT图像的预测性能最好（测试集C-index=0.774），其次是组织病理学图像（0.677）和临床因素（0.673），而基因数据本身几乎不具备区分高低风险亚组的能力。整合多模态数据后，性能普遍优于单模态。整合了CT、组织病理学和基因三种模态数据的模型，在测试集上取得了0.808的出色C-index，显著优于所有其他组合。如果再加入临床因素，性能可以进一步提升到0.832。
作者还比较了BFPS与其他特征选择方法（如Log-rank-Cox, Lasso-Cox）。结果显示，基于BFPS的模型性能最佳，证明了该特征选择策略的有效性。
3.4 与生存相关的深度特征与Eigengenes的相关性
热图显示了筛选出的深度图像特征与eigengenes之间的相关性。几乎所有CT深度特征都与yellow, pink, purple, magenta模块的eigengenes呈负相关。例如，yellow模块与次级主动跨膜转运蛋白活性相关，并包含SLC39A5基因，该基因影响TGF-β信号通路（一种肿瘤生长因子）。因此，该eigengene高表达对应差的预后。由于CT深度特征与它负相关，这意味着低值的CT深度特征反而对应着差的预后。HIS-24和HIS-19等特征与blue模块（富集于细胞因子受体结合）和magenta模块（富集于白细胞介素-27）显著正相关。细胞因子模式通常与免疫抑制和不良预后相关。
深度组织病理学特征与eigengenes之间存在显著的相关性，这表明深度特征具有替代eigengenes来预测患者预后的潜力。这也为从生物信息学角度解释深度特征提供了新的思路。
