BERT6mA：使用深度学习方法预测DNA N6甲基胞嘧啶位点.
0. TL; DR
BERT6mA 通过在数据丰富的物种上进行预训练，然后在数据稀缺的物种上进行微调，成功克服了识别 DNA 修饰的小样本学习的难题，显著提升了预测性能。结果显示，在特定物种上经过预训练和微调的模型，即使对于样本量小的物种，其性能也优于其他模型。
作者使用了包含11个物种的基准数据集。在独立测试中，BERT6mA 在八个物种中取得了最高的 AUC 值。此外，BERT6mA 在与现有最先进模型的比较中表现出更高或相当的性能。
1. 背景介绍
N6-甲基腺嘌呤 (6mA) 是最重要的表观遗传修饰之一，在 DNA 复制、修复、转录和基因表达调控中发挥着关键作用。例如，在 DNA 错配修复中，甲基化被用作区分新合成链和模板链的标记。因此，识别 6mA 对于理解表观遗传修饰过程和揭示与疾病相关的表观遗传调控至关重要。
高通量的实验方法，如单分子实时 (SMRT) 测序技术，已被用于识别 DNA 甲基化位点。然而，这些实验方法不仅成本高昂、耗时，而且在覆盖整个基因组方面存在局限，有时还面临测序质量和信噪比的问题。因此，开发能够弥补实验方法不足的计算预测模型非常有价值。
近年来，已经有多种基于机器学习和深度学习的模型被开发出来用于预测 DNA 6mA 修饰位点。尽管这些方法取得了显著的进展，但仍存在改进空间。例如，如何更有效地利用最新的深度学习技术，以及如何解决在训练数据稀少时模型性能不佳的问题。
为此，作者提出了 BERT6mA，一个新颖的、基于 BERT 和 word2vec 的深度学习方法，旨在实现对 6mA 位点的高精度预测，并通过预训练和微调策略来解决小样本学习的挑战。
2. BERT6mA 方法
作者在研究中系统地比较了多种特征编码方法和深度学习模型，并最终提出了 BERT6mA 框架。
2.1 数据集
作者使用了与 iDNA-MS 研究中相同的基准数据集，以便进行公平的比较。该数据集包含11个物种的 6mA 和非 6mA 数据，序列长度均为41 bp，6mA 位点位于序列中心。数据集被划分为1:1的训练集和独立测试集。
2.2 特征编码方法
作者评估了多种将 DNA 序列转换为特征矩阵的编码方法。
2.2.1 基于组成和化学性质的编码
- NCPNF (Nucleotide Chemical Property and Nucleotide Frequency)：结合了核苷酸的化学性质（环结构、氢键、官能团）和在序列中的密度信息。
- MNBE (Mono-Nucleotide Binary Encoding)：即独热编码 (one-hot encoding)，将每个核苷酸表示为一个二进制向量。
- C-NCPNF 和 C-MNBE：作者提出的两种新颖的上下文编码方法。它们通过一个滑窗将连续k个核苷酸的 NCPNF 或 MNBE 向量拼接起来，从而使每个位置的特征向量包含其邻近的上下文信息。
2.2.2 Word2vec
Word2vec 是一种在自然语言处理中非常强大的嵌入方法。作者将其应用于 DNA 序列编码：将连续的 4-mers 视为“单词”。使用 Skip-Gram 模型在所有物种的训练数据上进行训练，为每个 4-mer 生成一个100维的向量。通过拼接这些向量，每个 DNA 序列被表示为一个 $38 \times 100$ 的特征矩阵。
2.3 深度学习模型
作者构建并比较了八种不同的深度学习模型。
- LSTM 和 Bi-LSTM：长短期记忆网络 (LSTM) 及其双向 (Bi-directional) 版本，擅长捕捉序列中的长程依赖。
- GRU 和 Bi-GRU：门控循环单元 (GRU) 是 LSTM 的一个变体，参数更少，计算成本更低。
- BERT (Bidirectional Encoder Representations from Transformers)：基于 Transformer 的编码器，能够学习双向的上下文依赖。
- 1D-CNN (一维卷积神经网络)：通过卷积核提取局部序列模式。
- 混合模型 (Hybrid Models)：包括 BERT+Bi-LSTM 和 1D-CNN+Bi-LSTM，旨在结合不同模型的优势。
最终，作者发现 BERT 与 word2vec 编码的组合（即 BERT6mA）在大多数情况下表现最佳。
2.4 预训练与微调 (Pretraining and Fine-tuning)
为了解决在小样本数据集上训练深度学习模型的难题，作者采用了预训练与微调的策略。
- 预训练：在一个数据量充足的物种（如 F. vesca）的全部数据上训练一个 BERT6mA 模型。这个模型被称为预训练模型。
- 微调：对于一个数据量稀少的目标物种（如 R. chinensis），不从零开始训练模型，而是以预训练好的模型为起点，在其训练数据上进行微调。
2.5 可解释性分析：注意力权重
BERT 的核心是多头自注意力机制。作者利用该机制来解释模型的预测行为。注意力权重 $\alpha_{i,j}$ 表示了模型在计算第 $i$ 个位置的表示时，对第 $j$ 个位置的关注程度。其计算公式为：
\[\alpha_{i,j} = \text{softmax}\left(\frac{q(x_i)k(x_j)^T}{\sqrt{depth}}\right)\]通过分析和可视化这些权重，可以揭示模型认为哪些序列位置或模式对于 6mA 的预测是至关重要的。
3. 实验分析
作者通过一系列全面的实验，评估了不同模型和编码方法的性能，并对 BERT6mA 进行了深入分析。
3.1 深度学习与机器学习方法的比较
作者比较了56种不同的深度学习模型（7种编码 × 8种模型）与两种先进的机器学习模型（iDNA-MS, iDNA-ABT）在11个物种的独立测试集上的 AUC 值。
在大多数物种中，深度学习模型，特别是基于 BERT 的模型，表现优于或相当优于现有的机器学习模型。BERT6mA（即 BERT + word2vec）在八个物种中取得了最高的 AUC 值。BERT6mA 的性能优于另一个基于 BERT 的模型 iDNA-ABT，这表明 word2vec 是一种非常有效的编码方法。然而，在样本量较小的物种（如 R. chinensis）上，BERT6mA 的表现不如 iDNA-MS。
3.2 编码方法的比较
作者比较了七种不同编码方法在八种深度学习模型上的平均 AUC 表现。上下文编码方法（C-MNBE, C-NCPNF）的性能普遍优于非上下文方法（MNBE, NCPNF），尤其是在基于 RNN 的模型中，这一差异是统计显著的。1D-CNN 和 BERT 即使在使用非上下文编码时也表现出高性能，这表明它们自身就具有学习上下文信息的能力。Word2vec 在与 BERT 和 1D-CNN 结合时表现出非常高的性能。
3.3 与其他先进模型的比较
作者将 BERT6mA 与另外两种先进的深度学习模型 Deep6mA 和 6mA-Pred 进行了比较。ROC 曲线显示，BERT6mA 在 C. equisetifolia, F. vesca, S. cerevisiae 等物种上表现出更高的性能，而在其他物种上表现相当。这证明了 BERT6mA 的鲁棒性。
3.4 跨物种验证与预训练/微调
作者进行了跨物种验证，即用一个物种的数据训练模型，然后在其他物种上进行测试。结果显示，某些物种之间（如三种植物 A. thaliana, R. chinensis, F. vesca）存在较高的交叉预测性能，表明它们的 6mA 序列模式具有相似性。
针对 R. chinensis（一个样本量小的物种）性能不佳的问题，作者应用了预训练和微调策略。结果显示，当使用在 F. vesca（与 R. chinensis 序列模式相似）上预训练的模型进行微调后，BERT6mA 在 R. chinensis 上的 AUC 得到了巨大提升，并超越了所有非预训练模型和之前的先进模型。这有力地证明了预训练和微调是解决小样本学习问题的有效策略。
3.5 核苷酸偏好性与注意力权重分析
作者使用 pLogo 分析了四个物种中 6mA 位点周围的核苷酸偏好性。结果显示，R. chinensis 和 F. vesca 的核苷酸分布模式相似，而与 Xoc. BLS256 和 C. elegans 的差异较大。这解释了为什么在前两者之间进行预训练和微调的效果特别好。在 R. chinensis 中，条件概率分析揭示了在 6mA 位点周围存在一些共现的核苷酸对，例如第26位的G和第27位的C。
作者可视化了 R. chinensis 上经过预训练和未经过预训练的两个模型的注意力图谱 (attention maps)。结果显示，预训练模型的注意力权重在特定位置上更加集中和明确，表明它学会了关注关键的特征。作者比较了正负样本之间位置权重 (position weights) 的差异。结果显示，预训练模型在那些通过 pLogo 发现的具有统计显著性的核苷酸位置上，表现出更大的差异，这表明 BERT6mA 确实关注了那些对区分 6mA 和非 6mA 位点至关重要的位置。
作者进一步分析了特定核苷酸（如AA）的存在与否对位置权重的影响（即效应大小, effect size）。结果再次证实，预训练模型能够更有效地利用注意力权重来关注与 6mA 预测相关的核苷酸偏好性位点。
这些可解释性分析不仅揭示了 BERT6mA 做出准确预测的内部机制，也为生物学家发现 DNA 模式与生物学功能之间的关系提供了有价值的线索。
