MuLan-Methyl：准确DNA甲基化预测的多Transformer语言模型.

paper：MuLan-Methyl—multiple transformer-based language models for accurate DNA methylation prediction

0. TL; DR

MuLan-Methyl是一个用于预测 DNA 甲基化位点的深度学习框架，该框架基于5种流行的基于 Transformer 的语言模型集成（BERT, DistilBERT, ALBERT, XLNet, ELECTRA），能够识别三种不同类型的 DNA 甲基化：N6-腺嘌呤 (6mA)、N4-胞嘧啶 (4mC) 和 5-羟甲基胞嘧啶 (5hmC)。

1. 背景介绍

DNA 甲基化是一种重要的生物学过程，它促进了基因表达的表观遗传调控，并与多种医学疾病相关。虽然 DNA 甲基化是一个动态过程，但现有的机器学习技术已经能够从基因组序列中以一定的准确度预测其状态。

DNA 甲基化有多种类型，本文主要关注 6-甲基腺嘌呤 (6mA)、4-甲基胞嘧啶 (4mC) 和 5-羟甲基胞嘧啶 (5hmC) 这三种。不同生物体表现出不同的甲基化模式，这引出了一个计算问题：如何为给定的基因组序列预测甲基化位点的位置。

近年来，深度学习方法在该领域取得了显著进展，但准确性和全面性仍有提升空间。大多数现有研究只关注一种特定的修饰类型，很少有方法能同时处理上述三种甲基化类型。此外，尽管物种的分类身份对 DNA 甲基化有影响，但许多方法并未将其作为明确的特征。

作者将 DNA 甲基化位点检测问题定义为一个自然语言处理问题。基于 Transformer 的语言模型，如 BERT，结合预训练和微调的范式，已成为 NLP 应用的首选方法。通过在特定领域的语料库上进行预训练，语言模型可以更好地捕捉特定应用场景的语义和上下文信息。

基于此，作者提出了 MuLan-Methyl，这是一个新颖的深度学习框架，它集成了5种基于 Transformer 的语言模型，来共同预测三种不同类型的甲基化位点。与以往的方法不同，MuLan-Methyl 将 DNA 序列和物种分类信息都作为模型的明确输入特征，从而解决了现有方法的两大短板。

2. MuLan-Methyl 方法

MuLan-Methyl 的核心是一个集成了5种 Transformer 语言模型的框架，它通过一个精心设计的预训练和微调流程来学习和预测 DNA 甲基化。

2.1 数据处理

作者使用了 iDNA-MS 网站提供的公开基准数据集。该数据集包含 6mA、4mC 和 5hmC 三种甲基化类型，覆盖了12个物种（包括细菌和真核生物）。每个样本都是一个长度为41 bp的 DNA 片段，其中心是一个经过实验验证的甲基化位点（阳性样本）或非甲基化位点（阴性样本）。

作者将每个长度为41 bp的 DNA 样本处理成一个句子。这个句子由两部分组成：

DNA 序列信息：使用一个长度为6的滑窗，从41 bp的序列中提取出36个6-mers。
物种分类信息：将该样本所属物种的分类谱系（从域到种）也转换成一段文本描述，例如：“For this organism, its species is species, its genus is genus, …”。

将这两部分信息拼接在一起，就构成了一个完整的句子，作为模型的输入。

为了让语言模型能理解生物学领域的词汇（如6-mers和物种分类术语），作者构建了一个自定义语料库。该语料库包含所有处理后的训练集样本句子，和从 NCBI 和 GTDB 数据库下载的所有、训练集中未包含的物种分类谱系信息。这个语料库共包含约244万个句子，词汇量为25,000。

2.2 训练 Transformer 语言模型

MuLan-Methyl 集成了5种流行的基于 Transformer 的语言模型：BERT, DistilBERT, ALBERT, XLNet 和 ELECTRA。对每种模型，都遵循了以下训练流程：

2.2.1 自定义令牌化器 (Custom Tokenizer)

对于每种语言模型，作者都使用其默认的令牌化器（tokenizer）在自定义语料库上进行训练，生成一个能够有效捕捉 DNA 6-mers和物种分类谱系词汇的自定义令牌化器。训练好的令牌化器将每个样本句子转换成一个令牌列表，并在首尾添加特殊令牌 [CLS] 和 [SEP]，然后填充到统一的长度（100）。

2.2.2 模型预训练 (Model Pretraining)

每个语言模型都通过在自定义语料库上执行掩码语言模型 (Masked Language Modeling, MLM) 任务来进行无监督的预训练。在 MLM 任务中，15%的令牌被随机选择并进行掩码处理（80%替换为 [MASK]，10%替换为随机令牌，10%不变），然后模型需要预测这些被掩盖的原始令牌。

2.2.3 模型微调 (Model Fine-tuning)

预训练完成后，模型需要通过有监督的微调来适应甲基化预测任务。作者采用了一种级联微调的策略，以更好地利用数据并提高在小数据集上的性能：

6mA 模型：在最大的 6mA 训练子集上对预训练好的语言模型进行微调。
4mC 模型：在 4mC 训练子集上对已经微调好的 6mA 模型进行进一步微调。
5hmC 模型：在最小的 5hmC 训练子集上对已经微调好的 4mC 模型进行再微调。

微调过程采用早停策略，最多训练32个周期。

2.2.4 多语言模型集成

对于每种甲基化类型，作者都独立地训练了上述5个语言模型。最终，MuLan-Methyl 的预测结果是这5个模型预测概率的平均值。

2.3 MuLan-Methyl 的可解释性

Transformer 模型的可解释性主要来源于其多头自注意力机制 (multi-head self-attention mechanism)。注意力权重矩阵 $A = {a_{ij}}$ 表示了查询令牌 $t_i$ 从键令牌 $t_j$ 获得的注意力权重。

\[\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]

作者利用这个机制来评估每个输入令牌对最终分类结果的贡献。具体来说，对于每个令牌，作者将它在最后一层的所有注意力头中分配给特殊令牌 [CLS] 的注意力权重进行求和，以此作为该令牌的重要性分数 (importance score)。这个分数可以用来：

发现 DNA 基序 (motifs)：重要性分数高的6-mers可以被认为是与 DNA 甲基化相关的基序。
揭示序列与物种分类的关系：通过分析 DNA 令牌对物种分类谱系令牌的注意力权重，可以探究两者之间的关联。

3. 实验分析

作者进行了一系列实验来展示 MuLan-Methyl 的性能、可解释性及其相较于其他方法的优势。

3.1 性能比较

图 A：作者比较了 MuLan-Methyl_BERT（MuLan-Methyl 中的 BERT 子模型）与标准的 BERT 和 DNABERT 的编码能力。UMAP 可视化显示：

BERT：由于其语料库不包含 DNA 序列，它无法有效表示 DNA 6-mers，导致样本嵌入分布稀疏，无法区分不同物种。
DNABERT：虽然能够捕捉 DNA 序列特征，但不同物种的样本在嵌入空间中随机分布。
MuLan-Methyl_BERT：由于其预训练语料库同时包含了 DNA 6-mers和物种分类谱系，它能够更好地识别 DNA 片段并按物种谱系区分序列。不同物种的颜色在 UMAP 图中呈现出从上到下的梯度分布。

这表明，使用包含领域特定知识（DNA 序列和物种分类）的自定义语料库进行预训练，显著提升了模型在该应用场景下的表示能力。

MuLan-Methyl 的核心是集成了5个子模型。作者通过比较集成模型与单个子模型的性能，证明了集成的优势。

图 B: MuLan-Methyl 在三种甲基化类型和12个物种上的 ROC 曲线和 AUC 值都展示了其优异的性能。
图 C: 作者对5个子模型在不同物种上的性能进行了排名。结果显示，没有一个子模型能在所有情况下都表现最佳。例如，XLNet 在 6mA 位点预测上通常表现最好，而 ALBERT 则表现较差。这说明，通过集成多个模型，可以弥补单个模型的不足，从而获得更稳定和更优的整体性能。

作者将 MuLan-Methyl 与两种先进的方法 iDNA-ABF 和 iDNA-ABT 在 iDNA-MS 独立测试集上进行了比较。

图 E: 在总共17个“甲基化类型 + 物种”的组合中，MuLan-Methyl 在13个组合上取得了最优性能，其 AUC 值的提升幅度在0.02%到3.74%之间。特别是在 R. chinensis, C. equisetifolia, Tolypocladium 和 T. thermophile 的 6mA 预测上，提升超过了1%。
图 D: 作者还在一个外部数据集上进行了测试，该数据集包含的物种（E. coli, G. pickeringii, O. sativa L.）均未出现在训练集中。结果显示，MuLan-Methyl 的泛化能力非常出色，在 E. coli 的 4mC 预测上，其 AUC 比其他方法高出超过10%。

3.2 可解释性分析

通过分析注意力权重计算出的重要性分数，作者得以洞察模型做出预测的依据。

图 D, E, F: 作者发现，对于长度为41 bp的 DNA 样本，重要性分数最高的区域集中在序列的中心位置，这支持了基准数据集将甲基化位点置于样本中心的合理性。
图 A, B, C: 那些具有高重要性分数的6-mers可以被视为与 DNA 甲基化相关的“基序 (motifs)”。分析发现：
- 对于固定的物种，不同甲基化类型的基序是不同的。
- 对于固定的甲基化类型，某些基序可以在不同的物种间共享。例如，基序 CGAAGT 在酵母、Tolypocladium（真核）和 Xoc. BLS256（细菌）的 6mA 甲基化中都很重要。
图 G, H, I: 通过分析 DNA 令牌对物种分类谱系令牌的注意力权重，作者发现，决定物种分类谱系的关键序列位置也主要集中在样本中心，与甲基化相关基序的位置重合。在8个分类阶元中，最高阶的“界”和最低阶的“种”通常受到序列最广泛的关注。然而，这种模式并非一成不变，在某些物种组合中，其他阶元（如“属”和“科”）可能更重要。

这些观察结果证明了 MuLan-Methyl 的可解释性有助于揭示 DNA 序列与物种分类谱系之间的复杂关系。