StableDNAm：基于自适应特征修正学习预测DNA甲基化的稳定高效模型.

paper：StableDNAm: towards a stable and efficient model for predicting DNA methylation based on adaptive feature correction learning

0. TL; DR

StableDNAm 是一个高效且稳定的 DNA 甲基化预测模型，它融合了特征融合、自适应特征校正和对比学习策略，在17个常用的基准数据集上进行广泛实验，证明了其作为通用甲基化预测工具的潜力。

1. 背景介绍

DNA 甲基化是生命过程中至关重要的一种表观遗传修饰，它通过调控转录和基因表达，在物种生长、发育、衰老乃至疾病（如癌症）的发生中扮演着核心角色。目前，研究主要集中在三种类型的修饰：4mC (N4-甲基胞嘧啶)、5-羟甲基胞嘧啶 (5hmC) 和 N6-甲基腺嘌呤 (6mA)。准确识别这些甲基化位点对于探索生命发展和预防疾病至关重要。

早期的甲基化检测主要依赖传统的实验技术，如全基因组亚硫酸氢盐测序 (WGBS)。尽管这些技术不断进步，但仍存在效率低、成本高等缺陷。因此，开发高效、低成本的计算方法进行甲基化预测已成为一个迫切的需求。

近年来，机器学习和深度学习方法在生物学领域取得了巨大成功，推动了 DNA 甲基化预测研究的快速发展。例如，DNA4mC-LIP, DeepTorrent, MM-6mAPred, BERT6mA, iPromoter-5mC 等模型分别在特定类型的甲基化位点预测上取得了不错的成绩。然而，这些方法大多只针对单一类型的甲基化，很少能扩展到多种类型的识别任务。

为了解决多类型甲基化识别问题，后续的研究开始关注更通用的特征编码方法和模型。例如，iDNA-MS 整合了多种特征编码方法，而 iDNA-ABT 和 iDNA-ABF 则通过自注意力机制和双尺度编码提升了识别效率。尽管这些先进方法取得了当前的最佳性能，但它们仍然存在一些局限性：

特征提取不充分：未能完全提取多尺度的信息。
缺乏自适应性：对提取的特征权重没有进行自适应调整，可能导致模型在不同数据集上表现不佳。
未考虑稀疏数据问题：稀疏数据可能导致模型训练不稳定。

为了克服这些挑战，作者提出了一个基于自适应特征校正学习的模型StableDNAm。

2. StableDNAm 方法

StableDNAm 是一个基于 Transformer 架构的新型深度学习模型，其核心在于三个创新设计：多尺度与低跨度特征融合、自适应特征校正 (2D-SENET) 和对比学习。

StableDNAm 的整体架构和工作流程如图所示，主要包括六个模块：

数据收集 (A)：使用公开的基准数据集。
多尺度数据处理 (B)：对 DNA 序列进行多尺度的 k-mer 令牌化。
BERT 编码器 (C)：使用 BERT 编码器在不同尺度上提取特征。
全特征融合 (D)：将多尺度特征进行加权融合。
2D-SENET 模块 (E)：对融合后的特征进行自适应权重校正。
对比学习模块 (F)：通过对比学习增强模型的表示能力和稳定性。
分类模块 (G)：使用全连接层进行最终的二元分类预测。

2.1 多尺度与低跨度特征 (Multi-scale and low-span features)

为了增强模型对不同 DNA 甲基化数据集的适应性，作者采用了多尺度与低跨度的特征构建策略。StableDNAm 同时使用了 3-mer, 4-mer, 5-mer, 6-mer 这四种尺度来对 DNA 序列进行令牌化。

小尺度（如 3-mer）：能够捕捉局部的、特异性的信息。
大尺度（如 6-mer）：能够捕捉碱基之间的长程依赖关系。
低跨度 (low-span)：通过使用连续的 k-mer 尺度（3, 4, 5, 6），模型可以更全面地捕捉信息，减少因尺度跨度过大而导致的信息损失。

2.2 BERT 编码器

作者将 DNA 序列视为文本序列，并使用 BERT 编码器来高效地处理它们。BERT 的核心是基于 Transformer 的自注意力机制，它能够捕捉序列中任意两个令牌之间的依赖关系。

对于一个经过 k-mer 处理后的输入序列 $X$，多头注意力机制的计算过程如下：

\[\begin{aligned} &Q = XW_1, \quad K = XW_2, \quad V = XW_3 \\ &h_i = f_{Att}(XW_{1,i}, XW_{2,i}, XW_{3,i}) = \text{softmax}(\frac{Q_i K_i^T}{\sqrt{d_k}})V_i \\ &f_{multiAtt}(Q, K, V) = [h_1, h_2, ..., h_H]W_m \end{aligned}\]

其中，$Q, K, V$ 分别代表查询 (Query)、键 (Key) 和值 (Value) 矩阵。$W_m$ 是一个线性变换矩阵。为了使模型更适用于下游任务，作者使用了预训练好的 DNABERT 模型来初始化 BERT 编码器的参数。

2.3 特征融合 (Feature fusion)

在通过四个并行的 BERT 编码器分别提取了 3-mer, 4-mer, 5-mer, 6-mer 的特征后，作者没有采用简单的拼接，而是使用一个线性层进行加权融合，以考虑不同尺度信息的重要性。

\[\begin{align*} &F = \sigma(\omega_1 \cdot h_{3mer} + \omega_2 \cdot h_{4mer} + \omega_3 \cdot h_{5mer} + \omega_4 \cdot h_{6mer}) \\ &h_{fusion} = F \cdot (h_{3mer} + h_{4mer} + h_{5mer} + h_{6mer}) \end{align*}\]

其中，$h_{kmer}$ 是对应尺度的特征，$\omega_i$ 是可学习的权重。

2.4 自适应特征调整 (2D-SENET)

为了让模型能够自适应地调整不同数据集中特征的权重，作者引入并修改了图像处理领域中高效的 SENET (Squeeze-and-Excitation Networks) 模型，提出了 2D-SENET。

2D-SENET将序列的长度视为“通道”。通过平均池化和多个全连接层，2D-SENET 能够学习到序列中不同位置特征的重要性，并生成一个权重向量，用于对融合后的特征 $h_{fusion}$ 进行自适应的校正。这一设计极大地增强了模型的稳定性和对不同类型甲基化数据集的泛化能力。

2.5 对比学习 (Contrastive learning)

为了缓解稀疏数据对模型性能的影响，作者引入了对比学习策略。

对于每个输入样本，作者通过设置三种不同的 dropout 率（0.15, 0.3, 0.9）来生成三个不同的视图（views）。具有相似 dropout 率的视图被视为正样本对，而具有较大差异 dropout 率的视图则被视为负样本对。

使用 InfoNCE 损失函数来拉近正样本对在表示空间中的距离，同时推远负样本对的距离。损失函数如下：

\[\mathcal{L}_{\text{infoNCE}} = -E_X \left[ \log \frac{e^{\text{sim}(z_{r,i}, z_{s,i})/\tau}}{\sum_{j=1}^N e^{\text{sim}(z_{r,i}, z_{t,j})/\tau}} \right]\]

其中，$z_{r,i}, z_{s,i}, z_{t,i}$ 分别是通过不同 dropout 率得到的样本 $x_i$ 的嵌入，$\text{sim}(\cdot, \cdot)$ 是余弦相似度，$\tau$ 是温度参数。通过这种方式，模型被迫学习到对 dropout 扰动不敏感的、更本质的特征表示。

3. 实验分析

作者在一系列数据集上对 StableDNAm 进行了全面的评估，并与多种先进模型进行了比较。

3.1 与其他模型的性能比较

作者将 StableDNAm 与六种先进模型（iDNA-MS, iDNA-ABT, iDNA-ABF, BERT6mA, Deep6mA, MM-6mAPred）在17个基准数据集上进行了比较。结果显示，StableDNAm 在12个数据集上取得了最优性能。在平均 ACC, AUC 和 MCC 指标上，StableDNAm 分别比排名第二的 iDNA-ABF 高出1.6%, 2.17%和3.10%。在 4mC_C.equisetifolia 等数据集上，StableDNAm 的性能提升尤为显著，ACC 提升幅度在2.8%到14.22%之间。

作者使用 UMAP 对 StableDNAm 和 iDNA-ABF 在 5hmC_H.sapiens 数据集上学习到的特征空间进行了可视化。

图 A (StableDNAm)：正负样本被清晰地分离开来，并且每个类别内部的样本聚类紧凑。
图 B (iDNA-ABF)：虽然正负样本之间存在一定的边界，但在右侧区域，两类样本基本融合在一起，难以区分。

这些结果表明，StableDNAm 能够学习到更具判别力的特征表示。

3.2 在统一数据集上的比较

为了评估模型的泛化能力和可扩展性，作者将17个数据集整合成一个统一的大数据集，并在其上训练和测试模型。

结果显示，iDNA-ABF 在统一数据集上的 ACC 和 MCC 指标仅在50%左右，几乎不具备预测能力，这表明它可能只适用于特定类型的甲基化数据。相比之下，StableDNAm 表现出强大的适应性，取得了83.5%的 ACC 和91.0%的 AUC。这证明了 StableDNAm 作为一个通用的 DNA 甲基化预测工具的巨大潜力。

3.3 模型稳定性与鲁棒性分析

作者通过比较模型在训练过程最后5个周期的损失和准确率，来评估模型的稳定性。

iDNA-ABF 的损失值（loss）热图显示其在训练后期出现显著的损失增加，表明其训练过程不稳定。相比之下，StableDNAm 的损失和准确率（ACC）在训练后期都非常稳定。

以 4mC_Tolypocladium 和 6mA_Tolypocladium 数据集为例，iDNA-ABF 的 ACC 和 AUC 曲线在训练初期上升后便停滞在0.5左右，而 StableDNAm 的各项指标则持续优化。这再次证明了 StableDNAm 卓越的稳定性和鲁棒性，这得益于其多尺度特征融合、自适应特征校正和对比学习等设计。

Motif logos 分析显示，不同物种的正负样本在序列模式上存在显著差异，这为 StableDNAm 通过学习序列特征来进行准确预测提供了生物学基础。

3.4 消融实验

为了评估模型中关键模块的贡献，作者在 5hmC_M.musculus 数据集上进行了一系列消融实验。

图 A (完整模型)：完整的 StableDNAm 模型表现出平滑下降的损失曲线和稳步上升的 ACC、AUC 曲线，性能优异。
图 B (移除对比学习模块)：移除对比学习模块后，模型性能依然良好，但损失曲线在训练后期出现了轻微波动。
图 C (移除2D-SENET模块)：移除 2D-SENET 模块后，三条曲线均出现剧烈波动，甚至在训练后期出现性能下降，表明该模块对于模型的收敛性和稳定性至关重要。
图 D (移除特征融合模块)：移除特征融合模块后（仅使用3-mer），模型性能同样不佳，损失值在第6个周期后开始上升。

综合来看，这三个模块对模型性能的贡献从大到小依次为：2D-SENET 模块 > 特征融合模块 > 对比学习模块。这些实验有力地证明了 StableDNAm 每个创新设计的有效性和必要性。