0. TL; DR

cfMethylPre 是一个专为利用 cfDNA 甲基化数据进行癌症检测而设计的深度迁移学习框架。首先在一个包含2801个样本、覆盖82种癌症类型和正常对照的bulk DNA 甲基化数据上进行预训练，然后利用 cfDNA 甲基化数据进行微调。DNA 甲基化谱和由大型语言模型（ESM-2）生成的 DNA 序列嵌入融合增强了特征表示，使模型能够捕捉更复杂的基因组模式。

与现有先进方法相比，cfMethylPre 取得了优越的预测准确性。通过模型解释，作者识别出三个新的乳腺癌相关基因：PCDHA10, PRICKLE2, 和 PRTG，并通过生物学实验验证了它们在乳腺癌细胞系中对细胞增殖和迁移的抑制作用。

1. 背景介绍

癌症是全球发病率和死亡率的主要原因之一，凸显了早期检测对于改善患者预后的至关重要性。传统的诊断方法，如影像学和组织活检，虽然有效，但在灵敏度、特异性、及时性和侵入性方面存在挑战。因此，迫切需要创新的非侵入性诊断技术来在癌症的最早阶段进行检测。

近年来，细胞游离DNA (cfDNA) 作为一种潜在的癌症检测生物标志物备受关注。cfDNA 是由正常细胞和癌细胞释放到血液中的 DNA 碎片，为非侵入性癌症诊断（即液体活检 liquid biopsies）提供了独特的机会。与传统的组织活检相比，液体活检创伤小，可重复进行，并能提供整个肿瘤基因组的全面信息。

DNA 甲基化作为一种关键的表观遗传修饰，在癌症中表现出异常模式，如肿瘤抑制基因的高甲基化 (hypermethylation) 和癌基因的低甲基化 (hypomethylation)。分析 cfDNA 中的这些甲基化模式，为非侵入性癌症检测和分类提供了一种强大的生物标志物。

尽管已有大量研究证实了 cfDNA 甲基化在癌症诊断中的潜力，并发展了多种统计学和机器学习方法，但仍存在若干挑战：

小样本量：许多研究受限于较小的样本规模，这限制了模型的鲁棒性和泛化能力。
高维数据处理：传统的机器学习模型难以有效捕捉高维甲基化数据中固有的复杂模式。
缺乏可解释性：大多数模型如同黑箱，无法揭示其预测背后的生物学机制，使其难以转化为临床应用或增进我们对癌症分子机制的理解。

为了解决这些问题，作者提出了 cfMethylPre，一个专为利用 cfDNA 甲基化数据预测多种癌症而设计的深度迁移学习框架。

2. cfMethylPre 方法

cfMethylPre 的核心是一个深度迁移学习框架，它巧妙地结合了大型语言模型、ResNet 架构和开放集识别 (open set identification) 算法。

cfMethylPre 的训练流程如图所示，主要包括三个关键模块：DNA 序列信息编码、迁移学习和未知癌症类型预测。

2.1 数据收集与预处理

作者从 GEO 和 CFEA 数据库中收集了bulk DNA和 cfDNA 甲基化数据。数据预处理流程包括：计算甲基化 beta 值、过滤低质量探针和样本、使用随机森林算法筛选信息量最大的10,000个 CpG 位点，并最终保留了在所有数据集中都覆盖良好且缺失率低的6585个 CpG 位点作为模型的输入特征。

2.2 使用大型语言模型编码DNA序列信息

为了将序列上下文信息融入分析，作者首先将每个甲基化探针位点映射到其对应的核苷酸序列。然后，作者采用了一个预训练的大规模生物语言模型ESM-2，来编码每个探针位点周围的 DNA 序列信息。

对于每个探针，提取其上下游各25 bp，共50 bp的 DNA 序列。ESM-2 模型包含30层 transformer，能够通过预测序列中被掩盖的残基来学习有意义的序列表示。它将输入的 DNA 序列编码成一个640维的向量。

\[v_i = \text{ESM-2}(s_i) = \{e_1, e_2, ..., e_{640}\}\]

其中，$s_i$ 是探针的 DNA 序列，$v_i$ 是编码后的向量。为了提高计算效率，作者使用主成分分析将640维的向量降至128维。

最终，作者将每个位点的甲基化 beta 值与其对应的128维编码向量的元素相乘，从而将甲基化特征与局部 DNA 序列信息融合在一起。这个融合后的特征被称为预训练探针嵌入 (Pre-trained Probe Embeddings, PPE)。

2.3 用于 cfDNA 甲基化适应的迁移学习

cfMethylPre 的骨干网络采用了 ResNet 结构。其迁移学习策略分为两个阶段：

源域预训练：首先，模型在一个大规模的bulk-DNA 甲基化数据集（源域）上进行训练。该数据集包含2801个样本，覆盖82种癌症类型和9种正常对照。
目标域微调：然后，将预训练好的模型应用于 cfDNA 甲基化数据（目标域）。在微调过程中，ResNet 的前两个模块的参数被冻结，只对后两个模块的参数进行训练。这种策略使得模型能够保留从大规模数据中学到的通用特征，同时又能适应 cfDNA 数据的独特性。

模型的训练过程可以表示为：

\[f(x) = W_L\sigma(H_{L-1} + F_{L-1}(H_{L-1})) + b_L\]

其中，$x$ 是输入特征，$f(x)$ 是模型输出，$W_L, b_L$ 是最后一层的权重和偏置，$H_{L-1}$ 是前一层的输出。$F_l(H_l)$ 是一个残差块，其计算方式为：

\[F_l(H_l) = W_{l,2}\sigma(W_{l,1} + b_{l,1}) + b_{l,2}\]

2.4 未知癌症类型的预测

为了增强模型在现实场景中的应用能力，作者引入了一个未知类别预测模块。该模块基于 OpenMax 开放集识别算法，使模型不仅能识别已知的癌症类型，还能将样本分类为未知类别。

模型首先应用 softmax 生成原始的类别激活向量 $AV_i$。然后，计算每个样本的激活向量与该类别所有样本平均激活向量之间的距离分布 $D_i$。

基于极值理论 (extreme value theory) 和 Weibull 分布，计算每个类别的置信度 $w_j$。

\[w_j = 1 - \text{Score}_w(D_{x_j})\]

用置信度调整原始的 softmax 输出，并计算一个未知类别的分数。

\[\text{Score}'_j = \text{Score}_j \times w_j \\ \text{Score}_{\text{unknown}} = \sum_{i=1}^j \text{Score}_i \times (1 - w_i)\]

如果最终 $\text{Score}_{\text{unknown}}$ 是最高的，则该样本被归类为未知类别。

3. 实验分析

作者通过一系列全面的实验，评估了 cfMethylPre 的性能及其各个设计部分的有效性。

3.1 cfMethylPre 的性能评估

作者在一个包含9种癌症类型和健康对照的 cfDNA 数据集上，使用五折交叉验证对 cfMethylPre 进行了评估，并与9种现有的机器学习和深度学习算法进行了比较。

图 a, b: cfMethylPre 在所有评估指标上均表现出最优性能。它的加权 MCC 值为0.926，显著高于第二名的 MethylNet (0.906)。MCC 是一个在类别不平衡数据集上非常鲁棒的指标。它的加权 F1-score 为0.942，也显著高于第二名。相比之下，传统的机器学习方法如 KNN、LDA、决策树和朴素贝叶斯表现明显较差，凸显了它们在处理复杂高维 cfDNA 甲基化数据时的局限性。
图 c: 在未知类别识别实验中，cfMethylPre 表现出色。对于SEPSIS, LUAD, PITR, CRC, 和 BRCA 这五种被掩盖的类别，模型能够100%准确地将它们识别为“未知”类。对于 PRAD 和 COAD 等，也取得了很高的准确率。这表明 cfMethylPre 具有很强的泛化能力，能够识别训练集中未见过的癌症类型。
在一个独立的乳腺癌数据集中，cfMethylPre 取得了0.700的 MCC 和0.857的 F1-score，进一步证实了其泛化能力。

3.2 整合DNA序列信息和迁移学习的效果

作者通过消融实验，探究了整合 DNA 序列信息和应用迁移学习对模型性能的贡献。

图 a, e: 仅使用 cfDNA 甲基化数据时，UMAP 可视化显示样本无法被有效地区分，分类性能也很差（MCC 和 F1-score 均较低）。
图 b, e: 将 DNA 序列信息（PPE）与 cfDNA 甲基化谱结合后，聚类效果得到显著改善。UMAP 图中出现了三个清晰的聚类，分别对应乳腺癌、前列腺癌和其他类别。MCC 和 F1-score 分别提升至0.890和0.910。
图 c, e: 应用迁移学习（即在bulk DNA数据上预训练）后，聚类效果进一步提升。健康对照样本开始与其他癌症亚型分离。MCC 和 F1-score 分别提升至0.920和0.940。
图 d, e: 完整的 cfMethylPre 框架（结合了迁移学习和 PPE 特征）取得了最佳的聚类和分类效果。UMAP 图中几乎所有样本组都被清晰地分离开。MCC 和 F1-score 也达到了峰值。

这些结果确凿地证明了 DNA 序列整合和迁移学习在增强 cfMethylPre 性能和泛化能力方面的关键作用。

3.3 乳腺癌预测的可解释性和生物学洞见

为了评估 cfMethylPre 的可解释性，作者将其应用于区分乳腺癌患者和健康人，并对模型进行了特征归因分析，以找出对预测贡献最大的甲基化位点。

图 a: 作者将贡献最大的68个基因进行了基因本体论 (Gene Ontology, GO) 富集分析。结果显示，富集到的生物学过程（如细胞粘附、多细胞生物过程、钙离子结合等）都与乳腺癌的发生发展密切相关。
图 b: 通过分析这些基因在 TCGA 和 MSK 数据库中的体细胞突变率，作者发现其中许多基因（如 RPTOR, MYOM2, PCDH10）都已被报道在乳腺癌中发挥重要作用。
图 c: 为了发现新的基因靶点，作者结合了单细胞RNA测序数据、生存分析和差异表达分析，最终筛选出四个候选基因：PRTG, PRICKLE2, PCDHA6, 和 PCDHA10。其中 PCDH10 已被证实是泛癌种的肿瘤抑制基因，被用作阳性对照。