iDNA-ABT：通过自适应特征与直推式信息最大化检测DNA甲基化的先进深度学习模型.

paper：iDNA-ABT: advanced deep learning model for detecting DNA methylation with adaptive features and transductive information maximization

0. TL; DR

iDNA-ABT 利用了基于 BERT (Bidirectional Encoder Representations from Transformers) 的自适应嵌入 (adaptive embedding)，并结合了直推式信息最大化 (transductive information maximization, TIM)，能够同时处理多种 DNA 甲基化类型（4mC, 5hmC, 6mA）和多个物种。

在17个不同的基准数据集上，其性能显著优于现有的先进方法。通过与六种手工特征编码的比较，作者证明了自适应嵌入学习到的特征具有更强的适应性和鲁棒性。

1. 背景介绍

DNA 甲基化在调控转录、影响基因表达等方面扮演着重要的表观遗传修饰角色。DNA 甲基化含量的异常变化是癌症等疾病发生发展的重要因素。目前，三种研究最深入的 DNA 甲基化类型是 N6-甲基腺嘌呤 (6mA)、5-羟甲基胞嘧啶 (5hmC) 和 N4-甲基胞嘧啶 (4mC)。识别这些 DNA 甲基化位点对于理解和揭示它们的功能机制至关重要。

与耗时且昂贵的传统湿实验技术相比，机器学习和深度学习方法为 DNA 甲基化位点的识别提供了有效且高效的途径。迄今为止，已有多种计算方法被开发出来，用于预测这三种常见的甲基化类型。

传统机器学习方法：如 i6mA-Pred, 4mCpred-EL, DIRECTION 等，它们大多基于 SVM 或随机森林 (RF)，并使用了多种手工设计的特征。
深度学习方法：如 SNNRice6mA, 4mCCNN, DeepTorrent 等，它们利用 CNN, LSTM 等网络结构来自动学习特征。

然而，现有的方法存在一些局限性：

依赖手工特征：大多数方法仍然高度依赖于需要先验知识的手工特征，这限制了模型从数据中自动提取高层次、潜在信息的能力。
缺乏通用性：大多数方法都是为单一的甲基化类型或甚至单一物种设计的，缺乏一个能够同时处理多物种、多类型预测的通用工具。

尽管 iDNA-MS 首次尝试使用随机森林来识别三种不同的甲基化类型，但其性能仍有很大的提升空间。

为此，作者提出了一个名为 iDNA-ABT 的先进深度学习模型，旨在同时预测多个物种中的多种 DNA 甲基化位点。该模型通过自适应嵌入、BERT 和 TIM 损失，实现了自动、高效的特征学习和卓越的预测性能。

2. iDNA-ABT 方法

iDNA-ABT 的整体框架如图所示，主要由三个模块组成：自适应嵌入模块、编码模块和分类模块。

2.1 数据集

作者使用了最初由 iDNA-MS 提出的基准数据集。该数据集非常全面，包含了17个不同的子数据集，覆盖了 4mC, 5hmC, 6mA 三种甲基化类型和多个物种。所有序列长度均为41 nt。

2.2 自适应嵌入模块 (Adaptive Embedding Module)

该模块负责将输入的 DNA 序列转换为 BERT 模型可以处理的向量表示。与 BERT 类似，每个碱基的最终嵌入由两部分相加而成：

令牌嵌入 (token embedding)：将每个碱基（A, C, G, T）通过一个查找表映射为一个随机初始化的向量。
位置嵌入 (position embedding)：为序列中的每个位置学习一个特定的向量。

最关键的是，这两个嵌入向量的初始值是随机的，但它们会在模型训练过程中，通过反向传播不断地进行调整和优化。这使得模型能够根据具体的任务，自适应地学习到对该任务最优的特征表示。

2.3 编码模块 (Encoding Module)

该模块的核心是 BERT 模型中的 Transformer 编码器。每个编码器块由一个多头注意力 (multi-head attention) 机制和一个前馈网络组成，并通过两个跳跃连接 (skip connections) 进行连接。

自注意力是 Transformer 的核心。对于一个输入序列 $X$，它首先通过三个不同的线性变换，得到查询 (Query) $Q$、键 (Key) $K$ 和值 (Value) $V$ 矩阵。然后，通过计算 $Q$ 和 $K$ 的点积来得到注意力分数，并将其应用于 $V$。

\[\text{Self-attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]

其中，$d_k$ 是 $Q$ 和 $K$ 向量的维度。多头注意力通过并行地运行多个自注意力头，使得模型能够从不同的表示子空间中捕捉序列内部的不同类型的相关性。

2.4 分类模块 (Classification Module)

在数据预处理阶段，作者在每个序列的开头插入了一个特殊的令牌 [CLS]。在经过 BERT 编码后，这个 [CLS] 令牌对应的输出向量被认为是整个序列的聚合表示。

将这个 [CLS] 向量输入到一个基于神经网络的判别器（即多层全连接网络）中，最终通过一个 softmax 函数计算出该序列属于每个类别（甲基化或非甲基化）的概率。

传统的分类任务通常使用交叉熵 (Cross-Entropy, CE) 损失。为了进一步提升性能，作者引入了 TIM 损失。TIM 损失通过最大化数据集特征和潜在标签之间的互信息 (mutual information) 来工作。它由两部分组成：

条件熵 (Conditional Entropy)：鼓励模型做出置信度高的预测。
标签边际熵 (Label-marginal Entropy)：鼓励模型预测的标签分布尽可能均匀，以避免模型将所有样本都预测为同一类别。

最终的损失函数是 CE 损失和 TIM 损失的结合：

\[\min_w \lambda \cdot CE - \hat{L}_\alpha(X_Q, Y_Q)\]

3. 实验分析

作者在17个基准数据集上，对 iDNA-ABT 的性能进行了全面的评估，并与现有的先进方法进行了比较。

3.1 iDNA-ABT 与其他现有方法的性能比较

作者将 iDNA-ABT 与三个先进的方法（iDNA-MS, sNNRice6mA, Deeptorrent）以及一个不使用 TIM 损失的变体（iDNA-AB）进行了比较。

iDNA-ABT 的性能全面优于 iDNA-AB。例如，在 MCC 指标上，iDNA-ABT 平均提升了2.93%，尤其是在一些小数据集上，提升更为显著（如在 4mC_C.equisetifolia 上提升了20.97%）。这证明了 TIM 损失能够通过学习数据本身的分布来提升特征表示能力。

在所有17个数据集上，iDNA-ABT 的性能总体上优于 iDNA-MS。其平均 MCC 提升了3.93%，ACC 提升了1.97%。与 sNNRice6mA 和 Deeptorrent 相比，iDNA-ABT 在几乎所有数据集和所有指标上都取得了更优的性能。

在六个代表性的数据集上，iDNA-ABT 的 ROC 曲线和 PR 曲线都一致地优于或等于其他方法。

3.2 自适应嵌入与六种手工特征编码的性能比较

为了验证自适应嵌入的有效性，作者将其与六种常见的手工特征编码方法（NAC, BINARY, NCP, EIIP, DNC, ANF）进行了比较。

结果显示，在所有17个数据集上，自适应嵌入（iDNA-ABT）的 MCC 值都优于或等于所有六种手工特征编码。这表明，不同的手工特征在不同物种上的表现差异很大，而自适应嵌入则表现出强大的适应性和鲁棒性。

在 6mA_C.elegans 数据集上对学习到的特征进行可视化。结果清晰地显示，iDNA-ABT 学习到的特征能够将正负样本完全分离开，而其他五种手工特征则存在不同程度的混淆。

3.3 训练过程中的特征表示与可视化

作者使用 PCA 和 t-SNE 两种降维方法，对模型在训练过程中的特征空间分布进行了可视化。在训练开始时（epoch[1]），正负样本是混合在一起的。随着训练的进行（epoch[30]），正负样本逐渐被清晰地分离成两个独立的类别。这直观地展示了模型是如何逐步学习到区分性的特征表示的。

3.4 跨物种验证性能

为了探索不同物种之间的相互关系，作者进行了跨物种验证。

图 A (5hmC): 在两种 5hmC 物种（人类和小鼠）之间进行交叉测试，准确率都非常高（>94%），表明它们之间的甲基化模式高度相似。
图 B (6mA) 和 图 C (4mC): 在 6mA 和 4mC 数据集上进行交叉测试。结果显示，大多数物种之间的交叉预测准确率都能达到70%以上，但也有一些物种（如 6mA_T.thermophile）与其他物种差异较大。

跨物种验证的结果表明，基于知识的迁移学习在目标领域是有效的。更重要的是，iDNA-ABT 能够自适应地捕捉到跨物种的差异，并提升预测性能。

综上所述，iDNA-ABT 通过其先进的 BERT 架构、自适应嵌入和 TIM 损失，成功地构建了一个通用、高效且准确的 DNA 甲基化位点预测模型。