MethylProphet：推理全基因组DNA甲基化的广义基因上下文模型.

• paper：MethylProphet: A Generalized Gene-Contextual Model for Inferring Whole-Genome DNA Methylation Landscape

0. TL; DR

MethylProphet 是一个专为 DNAm 推断设计的、基因引导的、上下文感知的 Transformer 模型。MethylProphet 采用了一个瓶颈MLP 来高效地压缩基因表达谱，并使用一个专门的 DNA 序列令牌化器通过 Transformer 编码器架构将全局的基因表达模式与局部的 CpG 上下文整合起来。

在来自 ENCODE 和 TCGA 的两个十亿级别的大规模数据集上进行了训练（总计超过4000亿个 token）。在多种验证场景下，模型表现出强大的性能。MethylProphet 在 TCGA 泛癌数据集上的成功应用，展示了其推断泛癌 DNAm 图谱的潜力，为推进表观遗传学研究和精准医疗提供了一个强大的工具。

1. 背景介绍

DNA 甲基化（DNAm）是一种关键的表观遗传修饰，它通过调控基因表达、细胞分化来影响疾病的发生发展。DNAm 主要发生在 DNA 序列的 CpG 位点上，其组织特异性和动态变化使其成为有价值的生物标志物。

然而，DNAm 谱的分析面临着覆盖度稀疏的巨大挑战。人类基因组中约有2800万个 CpG 位点，但目前常用的基于芯片的技术（如 450K, EPIC）只能测量其中的1-3%。尽管全基因组亚硫酸氢盐测序 (WGBS) 能提供全面的覆盖，但其高昂的成本限制了其在大规模研究中的应用。因此，在典型的 DNAm 数据集中，绝大多数 CpG 位点的信息是缺失的。

与此形成对比的是，大规模的基因表达谱数据已经催生了如 Geneformer、scGPT 等强大的基础模型。考虑到基因表达与 DNAm 之间存在的密切调控关系，利用这种关系来预测全基因组的 DNAm 成为了一个极具前景的方向。

尽管已经有一些用于 DNAm 预测的计算模型，但它们都存在明显的局限性：

• 插补类方法 (Imputation-based)：如 DeepCpG，依赖于邻近的甲基化模式，无法对全新的样本进行预测。
• 位点特异性预测模型：如 MuLan-Methyl, StableDNAm，通常只针对特定的 CpG 子集进行预测，无法泛化到未被测量的位点。
• 基于掩码的基础模型：如 CpGPT, MethylGPT，采用类似掩码语言模型的策略学习全局表示，但其主要目标是下游任务，因此同样无法预测未测量位点或新样本的 DNAm。

为了克服这些挑战，作者提出了 MethylProphet，一个基因上下文的 Transformer 模型。它通过一个新颖的编码架构，将基因表达与 CpG 特异性的 DNA 序列进行整合。与以往的模型不同，MethylProphet 学习的是基因表达的稳健表示，从而能够高精度、高泛化性地推断完整的 DNAm 图谱。

2. MethylProphet 方法

MethylProphet 是一个基因上下文模型，能够通过整合基因表达与 CpG 特异性序列来推断全基因组的 DNAm 图谱。其核心设计在于高效地编码两种关键信息：全局的样本基因表达谱和局部的 CpG 位点上下文。

2.1 特征编码 (Encoding)

MethylProphet 的输入由多种不同模态的嵌入组成，这些嵌入共同为 Transformer 编码器提供丰富的上下文信息。

2.1.1 基因表达编码

为了实现样本特异性的 DNAm 预测，模型需要编码全面的基因表达谱。然而，Transformer 的自注意力机制具有二次方的计算复杂度，使其难以直接处理包含约25,000个基因的完整表达谱。为此，作者采用了瓶颈MLP 架构来高效地压缩高维的基因表达向量。

瓶颈MLP 的结构包含多个带有跳跃连接的 MLP 模块。每个模块的结构为：线性层 → GeLU激活函数 → 线性层，其中第一个线性层将维度扩大4倍，第二个线性层再将其压缩回原始维度。这种设计能够在保持模型灵活性的同时，有效地将高维基因表达向量 $g_{gene} \in R^{N_{gene}}$ 压缩成一个紧凑的嵌入 $x_{gene} \in R^{N_{embed}}$。

2.1.2 CpG 位点编码

为了使模型能够泛化到未见过的 CpG 位点，作者没有为每个 CpG 位点学习独立的嵌入，而是通过编码其周围的 DNA 序列来表示它。

作者使用了 DNABERT-2 的可变长度令牌化器。该令牌化器基于字节对编码算法，能够识别并压缩 DNA 序列中反复出现的基序（motifs），在保持生物学相关性的同时，实现了约5倍的压缩率（例如，将1000 bp的序列压缩成约200个 token）。

对于给定的1 kb长的 DNA 序列 $S = {s_i}$，令牌化器首先将其转换为约200个令牌 $T = {t_j}$。然后，这些令牌被映射为嵌入向量 $X_{base} = {x_{base}^j}$，其中 $x_{base}^j \in R^{N_{embed}}$。

2.1.3 其他基因组信息编码

为了进一步区分不同的 CpG 位点，作者还引入了其他几种可学习的嵌入：

• CpG岛 (CGI) 和区域类型嵌入：为每个 CpG 岛分配一个可学习的索引嵌入 ${x_{Island_idx}^i}$，并为四种区域类型（CpG island, shore, shelf, ocean）准备了额外的嵌入。一个 CpG 位点的最终 CGI 嵌入由其索引嵌入和区域类型嵌入相加得到。
• 染色体 (Chromosome) 嵌入：为每条染色体分配一个可学习的嵌入 ${x_{chr}^i}$。
• 全局嵌入：按照 Transformer 模型的惯例，作者引入了一个可学习的全局嵌入 $x_{GLB}$，用于在不同模态的嵌入之间聚合信息。

2.2 模型架构

MethylProphet 的整体架构如图所示。

对于一个给定的 CpG 位点-样本对，模型的输入是一个由不同类型嵌入拼接而成的序列，其顺序为：全局嵌入、基因表达嵌入、CpG岛嵌入、染色体嵌入，以及该 CpG 位点周围序列的嵌入。

这个拼接好的嵌入序列被送入一个标准的 Transformer 编码器。编码器利用其双向自注意力机制，使得序列中的每个嵌入都能够关注到所有其他嵌入，从而有效地融合来自不同模态的信息。

Transformer 编码器处理后，位于序列第一个位置的全局嵌入的输出表示聚合了所有相关信息。这个表示被送入一个简单的线性层，然后通过一个 sigmoid 函数，将其投影到一个0到1之间的值，作为最终预测的 DNAm 水平（beta-value）。

模型使用均方误差作为损失函数，通过端到端的方式进行训练，利用反向传播来更新所有可学习的参数。

3. 实验分析

作者在两个大规模数据集（ENCODE WGBS 数据和 TCGA 甲基化芯片数据）上对 MethylProphet 进行了系统性的评估。为了全面地衡量模型的泛化能力，作者设计了四种验证集划分方式：训练 CpG-验证样本、验证 CpG-训练样本、验证 CpG-验证样本，以及用于训练的训练 CpG-训练样本。

3.1 在 TCGA 数据集上的性能

• 图 a, b (跨CpG皮尔逊相关系数)：跨CpG皮尔逊相关系数 (Across-CpG PCC) 评估的是模型对单个样本整体 DNAm 谱的保持能力。图 a 展示了一个样本的例子，其预测谱与真实谱高度吻合。图 b 显示，在所有三种验证集划分中，Train CpG - Val Sample 划分的 PCC 最高，表明当 CpG 位点已知时，模型能很好地泛化到新样本。在另外两种需要泛化到新 CpG 的划分中，性能有所下降，但依然稳健。
• 图 c, d, e (跨样本皮尔逊相关系数)：跨样本皮尔逊相关系数 (Across-sample PCC) 评估的是模型推断单个 CpG 位点在不同样本间变化行为的能力。
  • 图 c 展示了一个 CpG 位点的例子，其预测值与真实值在不同样本间表现出良好的一致性。
  • 图 d 显示，在 Train CpG - Val Sample 划分下，跨样本 PCC 表现最佳。
  • 图 e 进一步分析发现，跨样本 PCC 与 CpG 位点本身在样本间的变异性正相关。对于变异性高的 CpG 位点（标准差在 (0.25, 0.36] 区间），模型能取得更高的预测相关性。
• 图 f, g, h-j (生物学特性保持)：
  • 图 f：MethylProphet 成功地保持了 CpG 岛内的共甲基化模式。
  • 图 g：模型能够很好地保留不同癌症类型之间的 DNAm 差异。
  • 图 h-j：使用模型预测值和真实值识别出的差异甲基化区域 (DMRs) 具有很高的重叠率。
• 图 k (UMAP 可视化)：UMAP 图显示，模型预测的 DNAm 图谱（三角形）与真实的图谱（圆形）在低维空间中的分布高度一致，并且能够清晰地将不同癌症类型的样本分离开。

3.2 在 ENCODE 数据集上的性能

在 ENCODE WGBS 数据集上的评估结果与在 TCGA 上的趋势大体一致，但也有一些不同。

• 图 a, b (跨CpG PCC)：跨 CpG PCC 在不同验证集划分下的表现相似，均很高。
• 图 c, d (跨样本 PCC)：与 TCGA 不同，Val CpG - Train Sample 划分的跨样本 PCC 最高。作者推测这可能是由于 ENCODE 数据集中测试样本数量有限所致。
• 图 e-k (生物学特性保持)：与在 TCGA 数据上的结果类似，MethylProphet 在 ENCODE 数据上也成功地保持了 CpG 岛共甲基化模式、组织特异性差异、DMRs 和样本的整体分布结构。

3.3 消融研究：数据混合策略与规模效应

数据混合策略：单独在 ENCODE WGBS 数据上训练时，模型在泛化到新 CpG 位点时表现优异（MAS-PCC=0.72），但在泛化到新样本时表现一般，这可能是由于样本量有限。单独在 TCGA Array 数据上训练时，由于 CpG 位点数量受限，整体性能不佳。当逐步将 TCGA EPIC 和 WGBS 数据加入训练集后，模型性能得到持续提升。当使用所有数据源（Array+EPIC+WGBS）进行训练时，模型在所有验证场景下都取得了最佳性能。

数据规模效应：仅在染色体1上训练的模型，其泛化到其他染色体（2和3）的能力有限。而在所有三条染色体上训练的模型，虽然在染色体1上的验证性能略有下降，但其跨染色体的泛化能力得到了显著提升。

这些消融实验证明了 MethylProphet 设计的合理性，即整合多源、大规模数据对于提升模型的预测性能和泛化能力至关重要。