iDNA-ABF：可解释性DNA甲基化预测的多尺度深度生物语言学习模型.

paper：iDNA-ABF: multi-scale deep biological language learning model for the interpretable prediction of DNA methylations

0. TL; DR

iDNA-ABF 是一个多尺度深度生物语言学习模型，通过一个多尺度信息处理模块 (Multi-scale information processing module)，使用不同大小的 k-mer（3-mer 和 6-mer）对 DNA 序列进行分词，并分别送入独立的 BERT 编码器。然后通过一个门控机制对多尺度特征进行融合，从而能够同时捕捉局部和全局的序列信息。

基准比较显示，作者的 iDNA-ABF 在不同甲基化类型的预测上均优于现有的先进方法。重要的是，作者展示了深度语言学习在从背景基因组中捕捉序列和功能语义信息方面的强大能力。

1. 背景介绍

DNA 甲基化是一种重要的表观遗传修饰。5-甲基胞嘧啶 (5mC)、N6-甲基腺嘌呤 (6mA) 和 4-甲基胞嘧啶 (4mC) 是三种主要的 DNA 甲基化类型，它们在基因调控和多种生物学过程中扮演着不同的角色。DNA 甲基化模式的异常改变与癌症等多种疾病的发生发展密切相关。因此，识别 DNA 甲基化位点对于揭示其功能机制至关重要。

尽管下一代测序 (NGS) 技术（如 WGBS）为 DNA 甲基化研究提供了金标准数据集，但这些实验方法通常成本高昂且耗时。因此，开发基于机器学习的计算方法成为一个重要的研究方向。

近年来，已有一系列基于传统机器学习或深度学习的序列预测方法被开发出来。

4mC 预测：DNA4mC-LIP 通过线性集成策略结合了六个现有预测器；DeepTorrent 则是一个整合了初始模块、注意力模块和迁移学习的深度学习预测器。
6mA 预测：MM-6mAPred 使用了马尔可夫模型；SNNRice6mA 和 Deep6mA 则分别使用了 CNN 和 CNN+LSTM 的混合网络；BERT6mA 更是将 NLP 领域的 transformer 技术引入了 6mA 预测。
5mC 预测：iPromoter-5mC 和 BiLSTM-5mC 等工具也取得了不错的成果。

然而，大多数现有方法只能区分单一类型的 DNA 甲基化，难以泛化到其他类型。iDNA-MS 是首个尝试通用预测不同甲基化的机器学习预测器，但其依赖手工特征，在适应性上存在不足。iDNA-ABT 模型虽然使用了 BERT 架构实现了自动特征学习，但在充分挖掘特征表示的潜力，特别是发现关键序列模式方面，仍有提升空间。

受 NLP 领域先进技术（如 BERT）的启发，作者将基因组序列视为“生物文本”，将不同尺度的序列决定因素视为不同的“生物单词”。基于此，作者提出了 iDNA-ABF，一个多尺度生物语言学习 (multi-scale biological language learning) 模型，旨在构建从自然语言到生物语言、从序列决定因素到其功能的映射。

2. iDNA-ABF方法

2.1 数据集

作者使用了两类数据集：

多物种数据集：与 iDNA-MS 和 iDNA-ABT 研究中使用的相同，包含17个子数据集，覆盖了 4mC, 5hmC, 6mA 三种类型和多个物种。
人类细胞系数据集：从 ENCODE 门户网站收集了三种人类细胞系（K562, GM12878, hepG2）的 5mC 甲基化数据，并为每种细胞系构建了包含 CpG, CHG, CHH 三种模式的数据集。

2.2 iDNA-ABF 架构

iDNA-ABF 的整体框架如图所示，主要由四个模块组成：多尺度信息处理模块、BERT 编码器模块、特征融合模块和分类模块。

2.2.1 多尺度信息处理模块

该模块旨在从不同尺度上捕捉 DNA 序列的上下文信息。与传统的将单个碱基作为输入不同，作者使用 k-mer 对 DNA 序列进行分词。通过实验比较，作者选择了两种尺度：3-mer 和 6-mer。

输入的 DNA 序列被并行地通过 3-mer 和 6-mer 两种分词器进行处理，生成两种不同尺度的“单词”序列。

2.2.2 基于 BERT 的编码器模块

作者采用了一个在百万级基因组序列数据上预训练过的 BERT 模型DNABERT。这使得模型能够从背景基因组中捕捉到更丰富的序列语义。

来自多尺度处理模块的两种尺度的“单词”序列，被分别送入两个独立的 BERT 编码器中。每个 BERT 编码器内部都由多个 Transformer 层堆叠而成，其核心是多头自注意力机制。它能捕捉序列中任意两个 k-mer 之间的长程依赖关系。

2.2.3 特征融合模块

为了整合来自两个不同尺度的信息，作者设计了一个门控融合机制。两个并行的 BERT 编码器的输出 $h_{kmer1}$ 和 $h_{kmer2}$，通过一个由 sigmoid 激活函数控制的门 $F$ 进行融合：

\[\begin{align*} F &= \text{sigmoid}(W_1 \cdot h_{kmer1} + W_2 \cdot h_{kmer2}) \\ h_M &= F \cdot h_{kmer1} + (1 - F) \cdot h_{kmer2} \end{align*}\]

其中，$W_1$ 和 $W_2$ 是可学习的参数。这种方式使得模型可以自适应地决定在多大程度上利用来自不同尺度的信息。

2.2.4 分类模块与对抗性训练

融合后的特征向量 $h_M$ 被送入一个全连接网络进行最终的二元分类。

为了增强模型的鲁棒性和防止过拟合，作者引入了对抗性训练。其核心思想是在训练过程中，在输入的词嵌入上添加一个微小的、能使损失最大化的对抗性扰动 (adversarial perturbation) $r_{adv}$，然后最小化在这个“最坏情况”下的损失。对抗性扰动的计算：

\[r_{adv} = -\epsilon \frac{g}{\|g\|_2}, \quad \text{其中 } g = \nabla_s L_{CE}(p, y | s, \theta)\]

对抗性损失：

\[L_{adv}(\theta) = -\frac{1}{N} \sum_{n=1}^{N} L_{CE}(p_n, y | s_n + r_{adv, n}, \theta)\]

通过优化这个对抗性损失，可以使模型对输入的小扰动不那么敏感。

3. 实验分析

作者在多个数据集上对 iDNA-ABF 的性能进行了全面的评估和分析。

3.1 iDNA-ABF 与现有先进方法的性能比较

图 A, B: 作者在17个多物种、多类型的基准数据集上，将 iDNA-ABF 与四种先进方法（iDNA-ABT, iDNA-MS, BERT6mA, Deep6mA）进行了比较。在17个数据集中的15个上，iDNA-ABF 的 ACC 和 MCC 均取得了最佳性能。与次优的 iDNA-ABT 相比，iDNA-ABF 的平均 ACC 高出1.34%。
图 C-F: 在四个代表性的数据集上，iDNA-ABF 的 ROC 和 PR 曲线同样优于其他方法。
图 G, H (UMAP 可视化): 作者使用 UMAP 对 iDNA-ABF 和 iDNA-ABT 学习到的特征表示进行了可视化。iDNA-ABF 学习到的特征能够将正负样本清晰地分离成两个紧凑的簇。相比之下，iDNA-ABT 的特征空间中，正负样本的边界较为模糊。

这些结果表明，iDNA-ABF 通过其预训练模型和多尺度架构，学习到了更具判别力的特征表示。

3.2 对抗性训练提升了 iDNA-ABF 的性能和鲁棒性

作者比较了使用和不使用对抗性训练的模型的性能。在17个数据集中的14个（ACC）和15个（MCC）上，使用对抗性训练的模型都取得了更好的性能。

在两个数据集上的学习曲线显示，使用对抗性训练的模型不仅测试损失更低，而且在训练后期能更好地避免过拟合。对抗性训练有效提升了模型的预测性能和鲁棒性。

3.3 iDNA-ABF 揭示了物种间甲基化的序列水平保守性

作者探究了物种的进化关系与模型预测性能之间的联系。

图 A (进化树与准确率): 在 4mC 数据集上，进化关系较近的物种（如 F. vesca 和 C. equisetifolia）上，模型的准确率也较为接近。
图 B, C (基序分析): 作者使用 kpLogo 对序列基序进行了分析，发现进化关系较近的物种，其甲基化位点周围的序列基序也更相似。
图 D (跨物种验证): 在进化关系较近的物种之间进行交叉验证，其性能显著优于在进化关系较远的物种之间。

甲基化的序列模式在进化上是保守的，这与模型的跨物种预测性能正相关。

3.4 多尺度序列设计更适合阐明甲基化机制

作者对多尺度信息处理策略进行了深入的可解释性分析。

图 A, B (单尺度 vs. 多尺度): 结果显示，没有任何一个单尺度（如 3-mer 或 6-mer）能在所有数据集上都取得最佳性能。而将 3-mer 和 6-mer 结合使用的多尺度模型，其平均 ACC 比单独使用 3-mer 和 6-mer 分别高出2.53%和1.01%。
图 C, D (注意力热图): 作者可视化了模型在 3-mer 和 6-mer 尺度上学习到的注意力。结果显示，3-mer 尺度更关注局部信息（对角线），而 6-mer 尺度更关注全局信息。这表明不同尺度学习到的信息是互补的。
图 E-G (基序发现与验证): 作者使用注意力分数来提取模型学到的序列基序，并与传统工具 STREME 发现的基序进行比较。结果显示，两者高度一致（p-value 很低）。这证明了模型能够学习到保守且有意义的序列特征。

3.5 iDNA-ABF 在人类细胞系 5mC 预测中的应用

作者将模型应用于三种人类细胞系的 5mC 预测。

图 A: 探究了序列长度对性能的影响，发现71 bp是最佳长度。
图 B-D: 比较了仅使用序列数据、仅使用 ChIP-seq 数据（H3K4me3, H3K36me3）以及两者结合的性能。结果显示，序列数据是更强的预测因子，但与 ChIP-seq 数据结合后，性能可以进一步提升。
图 E: 在一个5k-bp的基因组区域内，iDNA-ABF 预测的 5mC 分布与 WGBS 的真实分布总体上是一致的。有趣的是，模型还发现了一些 WGBS 未检测到、但与组蛋白修饰信号吻合的潜在功能区域。

跨细胞系验证:

图 5A: 在三种细胞系之间进行交叉验证，模型表现出稳健的性能。
图 5B, 5C: 通过分析不同细胞系中正负样本的基序，作者解释了交叉验证中性能差异的原因。

迁移学习:

图 A, B: 将在 CpG 数据集上预训练的模型，迁移到小样本的 CHG 和 CHH 数据集上进行微调。结果显示，迁移学习模型的性能远优于直接在小样本上训练的基线模型。
图 C, D: 通过分析模型学到的基序，作者发现迁移学习模型不仅保留了从 CpG 模式中学到的知识，还捕捉到了 CHG/CHH 的特异性，并发现了新的模式。将这些基序与已知的甲基化数据库进行比对，证实了它们具有生物学意义。