一种识别DNA N4甲基胞嘧啶位点的深度神经网络.
0. TL; DR
4mcDeep-CBI 是一个识别 4mC 位点的混合深度神经网络框架。将初步提取的特征输入到卷积神经网络和双向长短期记忆网络中，以生成高级特征。然后，将这些高级特征作为算法输入，提出了一个集成算法来改进特征表示。
在新的大规模数据集上，4mcDeep-CBI 的性能优于现有的先进预测器 4mcPred-IFL，准确率 (ACC) 从87%提升到93%，MCC 提升了7.88%。同时，该模型的运行速度比 4mcPred-IFL 快50倍以上。
1. 背景介绍
DNA 甲基化是一种在不改变 DNA 序列的情况下改变遗传表现的化学修饰。大量的研究表明，DNA 甲基化通过改变染色质结构、DNA 构象、DNA 稳定性以及 DNA-蛋白质相互作用来控制基因表达。
最广泛的 DNA 甲基化修饰是 N6-甲基腺嘌呤 (6mA)、5-甲基胞嘧啶 (5mC) 和 N4-甲基胞嘧orin (4mC)。其中，4mC 作为一种限制-修饰（R-M）系统的一部分，可以防止限制性内切酶降解宿主 DNA，并在控制 DNA 复制和纠正复制错误方面发挥重要作用。
尽管对 5mC 和 6mA 的修饰已经进行了广泛的研究，但由于缺乏有效的实验方法和大量数据，对 4mC 的研究相对有限。单分子实时 (SMRT) 测序技术虽然可以检测 4mC，但成本高昂。因此，开发用于识别 4mC 位点的计算方法变得十分必要。
迄今为止，只有四种用于识别 4mC 位点的方法被提出，它们都采用了支持向量机模型，包括 iDNA4mC, 4mCPred, 4mcPred-SVM 和 4mcPred-IFL。这些预测器通过不同的特征编码算法来提升预测精度。然而，它们仍然存在一些问题，例如 4mcPred-IFL 算法复杂度非常高，在处理大数据集时耗时严重，且预测准确性仍有提升空间。
在此背景下，作者开发了一个名为 4mcDeep-CBI 的深度学习框架。这是首个使用深度学习来识别 4mC 位点的研究。通过结合 CNN 和 BLSTM，以及一个迭代式的集成算法，4mcDeep-CBI 旨在实现比现有方法更高、更高效的预测性能。
2. 4mcDeep-CBI 方法
4mcDeep-CBI 的核心是一个混合深度神经网络框架，它通过多层次的特征提取和集成的机器学习算法来提升预测性能。
2.1 数据集
作者首先从最新的 MethSMRT 网站上获取了大量秀丽隐杆线虫 (C. elegans) 的 4mC 和非 4mC 样本。然后，将这些新样本与之前研究中使用的 C. elegans 基准数据集进行合并。
为了构建一个可靠的高质量数据集，作者执行了两个步骤：
- 移除了 Modification QV (modQV) 分数低于30的样本。
- 使用 CD-HIT 软件，以80%的序列相似性为阈值，移除了高度相似的冗余序列。
经过处理后，最终获得了包含17,808个样本的新 C. elegans 数据集，其中包含11,173个阳性样本和6,635个阴性样本。所有样本序列长度均为41 bp。
2.2 4mcDeep-CBI 网络模型
4mcDeep-CBI 的整体框架如图所示，它是一个多阶段、多层次的混合模型。
2.2.1 初步特征提取 (Preliminary Feature Extraction)
作者首先使用了在之前研究中被证明有效的八种特征编码方法作为初步特征。这些特征是通过不同的序列表示算法从 DNA 序列中提取的，包括 BKF, DBPF, KNN, PCP, MMI, PseDNC, PseEIIP 和 RFHCP。
2.2.2 4mcDeep-CBI 网络
为了从初步特征中提取更高维度的信息，作者设计了一个包含 3-CNN 层和 BLSTM 层的网络。
CNN 具有强大的提取抽象特征的能力。作者使用一个包含三层卷积层的 3-CNN 模块作为高级特征提取器。输入是八种初步特征之一。3-CNN 模块包含三个卷积 (convolution)、ReLU 激活和最大池化 (max pooling) 操作的组合。卷积核的数量分别为16、32、64，卷积核长度均为8。经过 3-CNN 模块后，原始的初步特征被转换为一个更高维度的特征图 $O_c$。
LSTM 是一种擅长处理序列数据和捕捉长程依赖的循环神经网络。BLSTM 则可以从前向和后向两个方向上捕捉特征的依赖关系，从而更深入地挖掘信息。CNN 的输出 $O_c$ 被送入一个 BLSTM 层，得到最终的高级特征 $O_r$。
通过将八种初步特征分别输入到这个 CNN+BLSTM 网络中，作者最终得到了八组对应的高级特征。
2.2.3 集成算法模型 (Integrated Algorithm Model)
在获得了八组高级特征后，作者设计了一个迭代式的集成算法来进一步提升预测性能。
将八组高级特征（每个都经过 flatten 操作转换为一维向量）拼接成一个8维的概率特征矩阵。
将当前的 $N$ 维特征向量作为输入。将该输入分别送入六种经典的机器学习算法中进行训练和预测，这六种算法包括：K-近邻 (KNN)、逻辑回归 (Logistic Regression)、支持向量机 (SVM)、朴素贝叶斯 (Naive Bayesian)、决策树 (Decision Tree) 和随机森林 (Random Forest)。
从六个算法中选择表现最好的一个，将其输出的预测概率作为新的一维概率特征。然后，将这个新特征与输入的 $N$ 维特征向量进行合并，形成一个新的 $(N+1)$ 维特征向量。
将这个新的 $(N+1)$ 维特征向量作为下一次迭代的输入，重复上述过程，直到性能收敛。
2.2.4 深度学习模型 (最终分类)
在集成算法收敛后，得到一个最终的高维特征矩阵。作者将这个矩阵输入到一个包含两个中间层的通用神经网络模型中，进行最终的分类预测。
3. 实验分析
作者在新扩展的 C. elegans 数据集上，对 4mcDeep-CBI 进行了详尽的实验，并与现有的先进预测器 4mcPred-IFL 进行了比较。
3.1 不同特征在预测中的性能
作者首先比较了八种不同的初步特征在提取为高级特征后的预测性能。结果显示，在 4mcDeep-CBI 和 4mcPred-IFL 两种模型中，BKF, DBPF, KNN 和 RFHCP 这四种特征的性能都排在前四位。在所有八种特征上，4mcDeep-CBI 模型的性能指标都优于 4mcPred-IFL。
展示了高级特征 AD_BKF 在训练过程中的准确率-损失 (acc-loss) 曲线。随着训练周期（epoch）的增加，训练集和验证集的准确率持续上升，损失持续下降，并在第5个周期左右收敛。这表明模型训练过程稳定，没有出现过拟合现象。
3.2 集成算法的性能
作者展示了集成算法在迭代过程中的性能变化。X轴代表迭代次数，Y轴代表准确率。在迭代开始前（特征维度为8），模型的准确率已经不错。随着迭代次数的增加，性能迅速提升，在第5次迭代时达到最大值（此时特征维度为13，ACC 为0.9274），然后逐渐趋于稳定。
相比之下，4mcPred-IFL 的迭代算法在迭代30次后才达到最大值，且其最大 ACC (0.9001) 也低于 4mcDeep-CBI。这表明，4mcDeep-CBI 的集成算法能够更有效地改进特征表示并提升性能。
3.3 4mcDeep-CBI 与先进预测器的性能比较
作者将最终的 4mcDeep-CBI 模型与先进预测器 4mcPred-IFL 进行了全面的性能比较。
在 ACC, MCC, SN, SP, AUC 五个指标上，4mcDeep-CBI 的性能均显著优于 4mcPred-IFL。ACC 提升了3.26%，而作为综合性指标的 MCC 更是提升了7.88%。
ROC 曲线显示，4mcDeep-CBI 的曲线更靠近左上角，其 AUC 值比 4mcPred-IFL 高出4.35%。
3.4 4mcDeep-CBI 与先进预测器的运行时间比较
作者比较了 4mcDeep-CBI 和 4mcPred-IFL 核心模块的运行时间。
结果显示，4mcDeep-CBI 的运行速度远快于 4mcPred-IFL。例如，在处理16,000个样本时，4mcDeep-CBI 仅需48.2分钟，而 4mcPred-IFL 即使在次优参数设置下也需要3261.3分钟，速度相差超过50倍。
作者分析，这主要是因为 4mcPred-IFL 使用了非常耗时的序列前向搜索 (SFS) 方法来寻找最优特征子集，并且其 SVM 模型的参数优化过程也非常耗时。
3.5 不同 CNN 层数对 4mcDeep-CBI 的影响
作者测试了不同 CNN 层数（2, 3, 4, 5, 7）对模型性能的影响。结果显示，当 CNN 层数为3时，模型取得了最高的 ACC 值（90.57%）。这验证了作者在模型设计中选择 3-CNN 层的合理性。
