PSATF-6mA: 一个基于注意力机制和集成学习的融合特征编码DNA-6mA甲基胞嘧啶修饰位点识别模型.
0. TL; DR
本文重点关注 DNA 双链特征的统计策略，利用神经网络中的多头自注意力机制 (multi-head self-attention mechanism) 应用于 DNA 位置概率关系，作者通过一个集成学习 (integrated learning) 框架，不断调整特征融合的注意力倾向，构建了一个新的识别模型 PSATF-6mA。
通过对水稻和小鼠 (m. musus) 基因组的跨物种数据集进行交叉验证，实验结果表明 PSATF-6mA 模型优于基线模型。其马修斯相关系数 (MCC) 得分可达0.982，性能显著优于其他先进方法。
1. 背景介绍
DNA 甲基化是一种常见的表观遗传现象，在生物学功能和病理过程中扮演着关键角色。6-甲基腺嘌呤 (6mA) 是其中最显著的表观遗传修饰之一，对细胞分化、发育、细胞周期调控等过程至关重要。
尽管存在多种成熟的生物实验技术（如 SMRT 测序）来识别 6mA 位点，但这些传统方法通常费力且耗时，无法在大规模序列上进行精确的甲基化定位。
随着机器学习和深度学习的不断发展，一些研究人员已经开始探索使用计算方法来识别 6mA 位点。例如，SICD6mA 和 SNNRice6mA 使用了循环神经网络，Deep6mAPred 采用了 CNN 和 Bi-LSTM 的并行堆叠，而 BERT6mA 则引入了 BERT 模型。这些方法在识别 6mA 位点方面取得了成功，但它们大多采用单一的 DNA 编码方法，忽略了核苷酸的化学性质和相关核苷酸之间的关系。
尽管现有模型种类繁多，但它们在单一编码方法、泛化能力差和跨物种识别能力弱等方面都面临挑战。大多数当代模型都优先考虑识别模型本身的设计，而对具有统计学意义的 DNA 序列本身的研究相对有限。
为此，作者提出了 PSATF-6mA，一个专注于 DNA 双链特征统计策略的新模型。该方法通过一种新颖的编码方法，结合神经网络的自注意力机制和集成学习框架，旨在更好地捕捉 6mA 位点的序列特征，并实现高效、准确的跨物种识别。
2. PSATF-6mA方法
作者提出的 PSATF-6mA 模型，其核心是将邻近核苷酸的位置编码与多头神经网络自注意力机制相融合。其整体设计理念如图所示。
2.1 数据集
作者使用了包含水稻基因组和小鼠 (M. musus) 基因组的 DNA 6mA 基准数据集，并构建了一个混合这两种数据集的跨物种数据集。使用 CD-HIT 软件，以0.8为阈值，移除了序列冗余。
2.2 位置特异性三核苷酸统计编码 (PSTNPds)
该方法基于 DNA 双链特征的统计策略，旨在生成一个更具区分性的统计谱。
首先，根据互补配对原则，将 A 和 T 视为相同，C 和 G 视为相同。这样，任意 DNA 序列都可以被转换为一个只包含 A 和 C 的序列。
在这种简化下，总共有 $2^3=8$ 种三核苷酸 (trinucleotide)（AAA, AAC, …, CCC）。作者分别统计了在阳性数据集和阴性数据集中，这8种三核苷酸在每个位置（$j$）上出现的频率 $F^+(3mer_i|j)$ 和 $F^-(3mer_i|j)$。
然后，通过计算这两种频率的差值，构建一个 $8 \times (L-2)$ 的位置特异性矩阵 $Z$。
\[z_{i, j} = F^+(3mer_i|j) - F^-(3mer_i|j)\]这个矩阵 $Z$ 反映了在不同位置上，不同三核苷酸对于区分正负样本的“贡献度”。
对于一个给定的新序列，根据其在每个位置 $u’$ 上的三核苷酸组成，从矩阵 $Z$ 中查找到对应的频率差值 $z_{i, u’}$，作为该位置的编码 $\phi’_u$。最终，将所有位置的编码拼接起来，形成一个代表整个序列的特征向量 $S_0$。
2.3 PSATF-6mA 模型
PSATF-6mA 模型将 PSTNPds 编码与多头自注意力机制和集成学习框架相结合。
将经过 PSTNPds 编码后的特征向量输入到一个前馈神经网络中，该网络的核心是一个多头注意力模块。作者采用了加性注意力 (additive attention) 机制，其计算公式如下：
\[a(q, k) = W_v^T \tanh(W_q q + W_k k)\]这种机制允许查询 (Query) $q$ 和键 (Key) $k$ 的向量维度不一致，并通过两个全连接层 $W_q, W_k$ 将它们统一到同一维度。
通过 softmax 函数计算出的注意力权重，被用于动态地调整模型对不同 DNA 片段的关注度，从而更准确地识别与 6mA 位点相关的关键信息。
经过注意力机制优化后的特征矩阵，被送入一个集成学习分类器中。作者测试了多种集成学习算法，如 LightGBM, XGBoost, AdaBoost 和决策树 (DecisionTree)。
该框架通过迭代训练一系列决策树模型来修正前一步产生的残差，最终通过对每个决策树的预测进行加权平均，得到最终的预测结果。
2.4 PSATF-6mA 中的注意力机制
作者通过注意力热图对模型的注意力机制进行了可视化解释。热图的 x 轴代表不同的编码特征（如不同的 k-mer 组合），y 轴代表不同的样本。图中颜色较深的区域表示模型在决策时对这些特征赋予了更高的注意力权重 (attention weight)。这表明，模型能够自动识别并关注那些与 6mA 位点识别更相关的特征，而不是平等地对待所有特征。
3. 实验分析
作者对 PSATF-6mA 模型进行了全面的评估，包括与传统编码方法的比较，以及与现有先进模型的比较。
3.1 不同编码方法的比较实验
作者将基于 PSTNPds 的 PSATF-6mA 模型与基于四种传统编码方法（Kmer, NCP, ENAC, Binary）的模型进行了比较。
当集成学习分类器选择 LightGBM 和决策树 (DecisionTree) 时：与传统的 Kmer 编码相比，PSATF-6mA 在 Sn, ACC, MCC 等指标上取得了显著提升。例如，当使用 LightGBM 时，Sn 提升了45.9%，ACC 提升了近30%，MCC 更是从0.2011提升到了0.9769。
当集成学习分类器选择 XGBoost 和 AdaBoost 时：PSATF-6mA 的性能同样远超基于传统编码的模型。例如，当使用 XGBoost 时，其 ACC (99.126%) 和 MCC (0.9826) 远高于其他编码方法。
基于 PSTNPds 编码的 PSATF-6mA 模型，其性能显著优于使用传统编码方法的模型，证明了这种新颖的、基于双链统计策略的编码方法的有效性。
3.2 与现有模型的比较实验
作者将 PSATF-6mA 与多种现有的先进模型进行了比较，包括基于传统深度学习的模型（CNN, RNN, ResNet）和一些已发表的先进工具（iIM-CNN, csDMA, iDNA6MA-PseKNC）。
与传统的 CNN, RNN, ResNet 模型相比，PSATF-6mA 在所有评估指标上都表现出压倒性的优势。例如，当使用 XGBoost 时，其 ACC 达到了99.126%，远高于 CNN (53.136%)、RNN (59.812%) 和 ResNet (60.722%)。
图直观地展示了不同集成学习分类器下，PSATF-6mA 模型的各项评估指标。可以看到，无论选择哪种分类器，PSATF-6mA 的性能都非常出色。
与三个现有的先进预测器（iIM-CNN, csDMA, iDNA6MA-PseKNC）进行比较。在跨物种数据集上，PSATF-6mA 的 Sn, Sp, Acc, MCC, AUROC 等指标均显著优于其他三个模型。例如，其 Acc (99.1%) 比 iIM-CNN (82.4%) 高出近17个百分点，MCC (0.9826) 更是远超对手。
PSATF-6mA 模型通过其独特的编码策略和结合了注意力机制的集成学习框架，在识别 6mA 位点的任务上，性能全面超越了现有的多种先进方法。
综上所述，PSATF-6mA 模型通过其对 DNA 双链特征的统计策略、多头自注意力机制和集成学习框架的巧妙结合，为 6mA 位点的识别提供了一个高效、准确且具有良好泛化能力的计算工具。
