Methyl-GP：基于语言模型和表示学习的准确通用DNA甲基化预测.

paper：Methyl-GP: accurate generic DNA methylation prediction based on a language model and representation learning

0. TL; DR

Methyl-GP 是一个能够从 DNA 序列中准确预测三种主要 DNA 甲基化类型（4mC, 5hmC, 6mA）的通用预测器。Methyl-GP利用多种 k-mer 算法对 DNA 序列进行令牌化（tokenize），并使用基于 BERT 的编码模块提取特征，再通过一个融合模块生成高质量的综合表示，有效减少了信息损失。

在17个基准数据集上，Methyl-GP 在预测三种 DNA 甲基化类型（4mC, 5hmC, 6mA）方面均优于现有的先进预测器。通过在多物种数据集上进行微调，模型能够学习到更广泛的序列模式，从而提高了在小样本数据集上的预测性能和泛化能力。

1. 背景介绍

DNA 甲基化在基因沉默、转座子抑制和染色质组织调控等多种生物学过程中扮演着关键角色。在人类中，异常的核苷酸甲基化通常会加速疾病的发展，特别是癌症。因此，高效准确地识别 DNA 甲基化对于理解这些机制至关重要。

目前研究的三种主要 DNA 甲基化类型是 4-甲基胞嘧啶 (4mC)、5-甲基胞嘧啶 (5mC) 和 N6-甲基腺嘌呤 (6mA)。尽管新一代测序（NGS）和第三代测序（TGS）等实验技术取得了巨大进步，但它们仍受限于专业要求和资源。因此，利用 DNA 序列数据进行计算预测已成为一种重要的补充方法。

现有的计算方法主要基于机器学习 (ML) 和深度学习 (DL)。ML 方法通常依赖于研究者的先验知识来设计特征提取算法（如 4mCPred, iDNA-MS），而 DL 方法（如 Deep6mA, BERT6mA, iDNA-ABF）则能直接从序列中自动学习复杂的非线性关系。然而，这些方法仍存在一些局限性：

预测精度有待提高：尤其是在训练样本稀少的情况下。
可解释性有限：许多 DL 模型如同“黑箱”，难以直观地理解其学习到的模式，这阻碍了对甲基化机制的深入洞察。
忽略了序列模式的多样性与保守性：研究表明，不同类型的甲基化，甚至同一种类型，都可能出现在不同的序列模式中。同时，某些物种间存在高度相似的甲基化模式。如何利用这些序列模式来增强模型的预测能力，是一个值得探索的问题。

受此启发，作者提出了 Methyl-GP，一个旨在解决上述问题的通用甲基化预测器。Methyl-GP 通过整合多种 k-mer 令牌化策略、在多物种数据集上微调预训练的生物语言模型以及一个新颖的特征融合模块，实现了对三种 DNA 甲基化类型的高精度、可解释和稳健的预测。

2. Methyl-GP 方法

Methyl-GP 的整体框架主要由三个模块组成：一个基于 BERT 的编码模块、一个特征融合模块和一个分类模块。

2.1 数据集与序列模式分析

作者使用的基准数据集包含了 4mC、5hmC 和 6mA 三种甲基化类型，共覆盖17个不同的物种-甲基化组合。所有序列长度均为41 bp。

在构建模型之前，作者首先通过 KpLogo 工具分析了不同物种中甲基化位点周围的序列模式（motif logos）。分析发现：

5hmC：在人类 (H.sapiens) 和小鼠 (M.musculus) 中，序列模式极为相似，都存在高度保守的 CpG 基序。
4mC：C.equisetifolia 和 F.vesca 之间存在保守模式，而 S.cerevisiae 和 Tolypocladium 之间的模式更相似。
6mA：大多数物种共享一个 [G/C]AGG[C/T] 的核心基序，但不同物种组之间也存在一些特有的模式。

这些观察结果表明，物种间的序列模式存在一定程度的保守性，这为通过多物种数据进行联合训练以提升模型泛化能力提供了理论基础。

2.2 Methyl-GP 模型架构

2.2.1 基于 BERT 的编码模块

为了充分捕捉不同尺度的序列模式并减少信息损失，Methyl-GP 创新性地采用了四种不同的 k-mer 算法（$k = 3, 4, 5, 6$）来对输入的 DNA 序列进行令牌化（tokenize）。对于每种 k-mer 令牌化后的序列，作者都使用一个独立的、基于 BERT 的编码器来提取其特征嵌入。

每个 BERT 编码器由一个嵌入层和12个 Transformer 模块组成。其核心是多头注意力机制，计算公式如下：

\[\text{MultiHead}(X) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O\]

其中，每个注意力头 $\text{head}_i$ 的计算方式为：

\[\text{head}_i = \text{Softmax}\left(\frac{XW_i^Q (XW_i^K)^T}{\sqrt{d_k}}\right) \cdot XW_i^V\]

这里，$X$ 是输入嵌入矩阵，$W_i^Q, W_i^K, W_i^V, W^O$ 是可学习的参数矩阵。

2.2.2 预训练生物语言模型与微调

为了让编码模块具备强大的泛化能力，作者采用了预训练与微调的范式。作者使用了在海量人类基因组数据上预训练好的 DNABERT 模型。DNABERT 已经学习到了 DNA 序列的通用语法和语义。

基于前述的序列模式分析，作者分别为 4mC、5hmC 和 6mA 构建了三个多物种数据集。然后，作者在这些多物种数据集上对 DNABERT 模型进行微调，从而获得了针对每种甲基化类型的通用特征提取器。使用这些微调好的模型参数来初始化 Methyl-GP 编码模块中的四个 BERT 编码器。

2.2.3 特征融合模块 (Fusion Module)

在通过四个编码器得到四组不同的嵌入后，作者设计了一个新颖的融合模块来将它们整合成一个高质量的综合表示。该模块包含解码 (decoding) 和编码 (encoding) 两个部分。

解码部分的目标是学习一个辅助的综合表示 $\hat{z}_n$，使得这个综合表示能够通过一个解码器 $g_v(\cdot)$ 和关系矩阵 $W_v$ 重构出原始的各个特定嵌入 $x_n^v$。

\[\hat{x}_n^v = g_v(\hat{z}_n W_v)\]

其优化目标是最小化重构损失，并加入了对 $W_v$ 的结构化稀疏正则化，以区分嵌入间的互补信息和一致信息。

\[\min_{\{W_v, g_v\}, \{\hat{z}_n\}} \mathcal{L}_r + \beta \sum_{v=1}^V \|W_v\|_{2,1}\]

编码部分旨在将原始的嵌入 ${x_n^v}$ 映射到一个紧凑且对齐的综合表示 $z_n$。作者利用解码部分学到的 $\hat{z}_n$ 和 $W_v$ 来指导编码器的学习过程。最终的综合表示是各个编码器输出的平均值：

\[z_n = \frac{1}{V}\sum_{v=1}^V z_n^v = \frac{1}{V}\sum_{v=1}^V f_v(x_n^v)\]

其优化目标结合了最终分类任务的交叉熵损失 $\mathcal{L}_{ce}$、与辅助表示 $\hat{z}_n$ 的对齐损失 $\mathcal{L}_a$ 以及正则化项。

融合模块输出的综合表示 $z_n$ 被送入一个包含两个全连接层的分类模块，最终输出一个概率值，用于判断输入序列是否被甲基化。

3. 实验分析

作者通过一系列详尽的实验，验证了 Methyl-GP 的性能及其设计中各个模块的有效性。

3.1 Methyl-GP 与其他先进预测器的性能比较

作者将 Methyl-GP 与四种先进的预测器（iDNA-MS, Deep6mA, BERT-6mA, iDNA-ABF）在17个基准数据集上进行了比较。

图 A, B: 在 ACC (准确率) 和 MCC (马修斯相关系数) 两个指标上，Methyl-GP 在15个数据集中都取得了最优性能。特别是在一些样本量较小的数据集上（如 6mA_R.chinensis, 4mC_C.equisetifolia 等），Methyl-GP 的优势尤为明显，ACC 领先幅度在2%到12%之间。这证明了 Methyl-GP 优越的性能和在数据稀缺条件下的强大泛化能力。
图 C-F: 在 ROC 曲线和 PR (精确率-召回率) 曲线上，Methyl-GP 在四个代表性数据集上均取得了最高的 AUC (ROC曲线下面积) 和 AP (PR曲线下面积) 值，再次证实了其稳健的性能。
图 G, H: 通过 UMAP 对不同预测器学习到的特征空间进行可视化，可以发现：
- BERT6mA 的特征分布最差。
- Deep6mA 和 iDNA-ABF 虽然能区分开不同类别，但同类样本的分布较为分散。
- Methyl-GP 不仅学习到了清晰的类别边界，而且同类样本的聚类也更加紧凑。这表明 Methyl-GP 学到了更具判别力的特征表示。

3.2 跨物种验证揭示序列模式的重要性

为了验证序列模式在甲基化预测中的作用，作者进行了跨物种验证实验，即用一个物种的训练集训练模型，然后在其他物种的测试集上进行测试。

图 A, B, C: 实验结果与之前的序列模式分析高度一致。
- 在 5hmC 数据集上，H.sapiens 和 M.musculus 的序列模式非常相似，因此它们之间的交叉验证性能非常好。
- 在 4mC 和 6mA 数据集上，同样观察到序列模式越相似、物种进化关系越近，则交叉验证的性能越好。
- 特别是，由于 T.thermophile 的序列模式与其他 6mA 物种差异巨大，无论用它来训练还是测试，交叉验证的性能都非常差。

这些结果有力地证明了序列模式在甲基化预测中扮演着至关重要的角色，并且物种的进化关系是影响序列模式的一个重要因素。

3.3 多物种微调有助于Methyl-GP学习更多甲基化模式

作者通过消融实验比较了三种不同的微调策略：Methyl-GP (在多物种数据集上微调)、Methyl-GP-FS (在物种特异性数据集上微调) 和 Methyl-GP-NF (不进行微调)。

图 A, B: Methyl-GP 的性能显著优于另外两种策略。与 Methyl-GP-NF 相比，平均 ACC 提高了2.74%；与 Methyl-GP-FS 相比，平均 ACC 提高了0.80%。这表明，在多物种数据集上进行微调极大地提升了模型的预测性能。
图 C, D, E: 作者通过注意力热图对不同微调策略下模型学习到的模式进行了可视化。结果显示：
- 不进行微调 (NF) 的模型无法识别出有意义的区域。
- 在特异性数据集上微调 (FS) 的模型，只有在使用较大 k-mer (5-mer, 6-mer) 时才能关注到序列的中心区域。
- 在多物种数据集上微调的 Methyl-GP，无论使用哪种 k-mer，都能一致地将高注意力集中在序列的中心区域。

这表明，多物种微调确实增强了语言模型识别重要甲基化区域的能力。

3.4 k-mer组合使Methyl-GP能够自适应地识别甲基化模式

图 A, B: 使用单一 k-mer 算法的性能在不同数据集上各有优劣，没有一种是普适最优的。而同时使用四种 k-mer 算法的组合，其平均 ACC 显著高于任何单一 k-mer 算法。
图 C, D: 作者将 Methyl-GP 通过注意力机制发现的基序与 STREME 工具发现的基序进行了比较。结果发现STREME 发现的共同基序，Methyl-GP 在不同的 k-mer 下也都能发现。某些基序只能被特定的 k-mer 算法发现。

这表明，通过组合使用多种 k-mer 算法，模型能够更全面地探索序列模式，避免单一 k-mer 令牌化可能带来的偏见，从而增强了识别重要甲基化模式的泛化能力。

3.5 融合模块能生成更高质量的综合表示

作者将提出的融合模块与简单的平均融合策略进行了比较。成对 t-检验显示，在 ACC 和 MCC 等多个指标上，提出的融合模块性能显著更优。特别是在一些小样本数据集上，性能提升尤为明显。这证明了该融合模块的有效性。