研发识别DNA N4甲基胞嘧啶修饰的多层深度学习预测模型.
0. TL; DR
Deep4mcPred 是一个用于识别 DNA N4-甲基胞嘧啶修饰的多层深度学习预测模型。将残差网络、双向长短期记忆网络 (BLSTM) 和注意力机制整合在一起，用于 4mC 位点的预测。
通过基准比较，作者的深度学习方法在性能上优于传统的机器学习预测器。在三个不同物种的数据集上，Deep4mcPred 均表现出比现有最先进方法（如 4mcPred-IFL）更好或相当的性能。
1. 背景介绍
表观遗传学指的是在不改变 DNA 序列的情况下，基因功能发生的可遗传的表型变化。DNA 甲基化是其中研究最早、最深入的表观遗传调控机制之一，它在调控基因表达、哺乳动物生长发育等方面扮演着至关重要的角色。
DNA 甲基化主要分为三类：N6-甲基腺嘌呤 (6mA)、5-甲基胞嘧啶 (5mC) 和 N4-甲基胞嘧啶 (4mC)。其中，4mC 在细菌中被发现，它在保护基因组免受限制-修饰 (R-M) 系统入侵方面起着重要作用。开发方法来探索 4mC 更多的生物学功能具有重要意义。
尽管单分子实时 (SMRT) 测序等高通量技术已被用于检测 4mC 位点，但这些实验方法成本高昂且效率低下。因此，利用机器学习方法基于基因组序列来预测 4mC 位点成为一个有吸引力的替代方案，它无需任何先验的实验知识。
目前，已有四种用于识别 4mC 位点的方法被提出，包括 iDNA4mC, 4mCPred, 4mcPred-SVM 和 4mcPred-IFL。这些方法都采用了支持向量机模型，并通过不同的特征编码和优化策略来提升预测性能。尽管这些方法在识别 4mC 位点方面取得了一定的改进，但它们所使用的数据集规模太小，难以构建真正稳健的模型。
近年来，深度学习在数据挖掘、自然语言处理等领域取得了巨大成功，并在计算生物学领域，特别是基于卷积神经网络 (CNN) 的基因组序列问题上得到了广泛应用。
为此，作者提出了 Deep4mcPred，一个基于多层深度学习的预测模型，用于识别 DNA N4-甲基胞嘧啶修饰。该预测器首次将残差网络 (ResNet) 和循环神经网络 (RNN) 以及注意力机制整合在一起，构建了一个多层的深度学习预测系统。
2. Deep4mcPred 方法
Deep4mcPred 的核心是一个由输入层、ResNet 层、LSTM 层和注意力层组成的四层深度神经网络。
2.1 数据集收集
由于现有研究中使用的数据集规模太小，不足以训练一个深度学习模型，作者首先构建了一个更大的数据集。
从 MethSMRT 数据库中收集了拟南芥 (A. thaliana)、秀丽隐杆线虫 (C. elegans) 和黑腹果蝇 (D. melanogaster) 三个物种的 4mC 样本。
收集所有长度为41 bp、中心为真实 4mC 位点的序列。移除 Modification QV (modQV) 分数低于30的序列。使用 CD-HIT 软件，以80%的序列相似性为阈值，移除高度同源的序列，以避免性能被高估。
从基因组中随机选取中心为胞嘧啶、但未被 SMRT 技术检测为 4mC 的41 bp序列作为负样本。
为了避免数据不平衡问题，作者为每个物种随机选取了与正样本数量相同的负样本。最终，为每个物种都构建了一个包含20,000个正样本和20,000个负样本的平衡数据集。
2.2 Deep4mcPred 深度学习模型架构
Deep4mcPred 的整体预测框架如图所示，它是一个端到端的深度学习系统。
2.2.1 序列表示：独热编码 (One-Hot Encoding)
基因组序列由 A, G, C, T 四种核苷酸组成。作者使用独热编码将这些字符转换为数值向量。例如，’A’ 被表示为 (1,0,0,0)，’G’ 被表示为 (0,1,0,0) 等。不确定的碱基 ‘N’ 被表示为 (0,0,0,0)。
2.2.2 残差网络 (ResNet)
CNN 的一个问题是，当网络深度增加到一定程度时，性能会开始下降，即所谓的退化问题 (degradation problem)。ResNet 通过引入残差学习 (residual learning) 框架来解决这个问题。
ResNet 的核心是残差块，它利用跳跃连接 (jump connections)，将输入 $x$ 直接加到经过几层网络变换后的输出 $F(x)$ 上。
\[y = F(X, \{W_i\}) + x\]如果 $F(x)$ 和 $x$ 的维度不同，可以通过一个线性映射 $W_s$ 来匹配维度：
\[y = F(X, \{W_i\}) + W_s x\]通过这种方式，ResNet 允许网络学习输入的残差信息，从而能够构建比普通 CNN 更深的网络，并提取更有效的全局特征。
2.2.3 长短期记忆网络 (LSTM)
RNN 是一种强大的处理序列数据的神经网络，但它在处理长序列时会遇到梯度消失或爆炸 (gradient disappearance or explosion) 的问题。LSTM 通过引入门控机制 (gating mechanism)（包括输入门、遗忘门和输出门）来解决这个问题。
在 Deep4mcPred 中，作者使用了双向 LSTM (Bidirectional LSTM)。它由两个方向相反的 LSTM 网络组成，能够同时捕捉来自前向和后向的特征信息，从而更全面地挖掘序列中的深层信息。
ResNet 层的输出被送入 BiLSTM 层，最终，序列中第 $i$ 个脱氧核苷酸的表示被编码为：
\[h_i = [\overrightarrow{h_i} \oplus \overleftarrow{h_i}]\]2.2.4 注意力机制 (Attention Mechanism)
受人类注意力的启发，注意力机制能够让模型在处理信息时，将焦点集中在重要的部分，而忽略不重要的部分。
注意力层接收 LSTM 层的输出向量 $H = [h_1, h_2, …, h_s]$，并通过学习一个权重向量 $W$，计算出一个加权的特征表示 $r$。
\[\begin{align*} M &= \tanh(H) \\ \alpha &= \text{softmax}(W^T M) \\ r &= H \alpha^T \end{align*}\]最终的特征表示 $h^*$ 是 $r$ 经过一个 $\tanh$ 激活函数得到的：
\[h^* = \tanh(r)\]2.2.5 Softmax 分类
经过注意力模块后生成的特征向量 $h^*$ 被送入一个 softmax 层进行最终的分类。softmax 函数将输出分数映射到 (0-1) 之间的概率值，从而可以判断一个位点是 4mC 位点还是非 4mC 位点。
3. 实验分析
作者对 Deep4mcPred 的性能进行了评估，并与现有的四种先进预测器进行了比较。
3.1 与现有预测器的性能比较
作者在三个物种的数据集上，使用10折交叉验证，将 Deep4mcPred 与 iDNA4mC, 4mCPred, 4mcPred-SVM 和 4mcPred-IFL 进行了性能比较。
Deep4mcPred 在大多数情况下都优于现有的基于传统机器学习的预测器。一个重要的优势是，它能够自动学习高层次的特征表示，而无需像其他方法那样在模型训练前手动指定基于序列的特征。
3.2 整合注意力机制的性能影响
为了评估注意力机制的贡献，作者比较了使用和不使用注意力机制的两个模型（分别为 ResNet_LSTM_Attention 和 ResNet_LSTM）的性能。
结果显示，在所有三个物种上，使用了注意力机制的模型在 ROC 和 PR 曲线上都表现得更好。使用注意力机制后，模型在三个物种上的平均性能有大约0.1%的提升。
这些结果证明，注意力机制确实有助于捕捉具有判别力的特征表示，从而提升了模型的预测性能。
