DeepSF-4mC：利用序列特征预测DNA胞嘧啶4mC甲基化位点的深度学习模型.

0. TL; DR

DeepSF-4mC 是一个专为利用序列特征预测 DNA 胞嘧啶 4mC 甲基化位点而设计的深度学习模型。DeepSF-4mC 采用多种编码技术（Binary, NCP, ENAC, EIIP）来提高预测准确性、增加模型稳定性并减少计算资源消耗，通过迁移学习利用现有模型的知识来增强性能，同时集成学习技术结合了多个模型（DNN, CNN, LSTM）的预测，进一步提升了鲁棒性和准确性。

在多个基准数据集上，DeepSF-4mC 的性能优于现有的多种先进方法，尤其是在秀丽隐杆线虫 (C. elegans) 和黑腹果蝇 (D. melanogaster) 的数据上表现突出。模型设计优化，使其能够在几十个训练周期内快速收敛，对计算资源的需求较低。

1. 背景介绍

N4-甲基胞嘧啶 (4mC) 是一种在胞嘧啶碱基的第四个氮原子上添加甲基基团的 DNA 修饰。尽管其普遍性低于 5-甲基胞嘧啶 (5mC)，但现有研究表明 4mC 在多种生物学现象中可能具有重要意义，包括基因调控、细菌的宿主防御机制、DNA 结构调控以及作为疾病的诊断标志物。

传统的实验室方法，如亚硫酸氢盐测序 (bisulfite sequencing)、限制性内切酶 (restriction enzyme) 方法和亲和富集 (affinity enrichment) 技术，在检测 4mC 时存在诸多局限，如无法区分 4mC 和 5mC、耗时耗力、不适用于大规模检测等。

然而，机器学习和深度学习技术的飞速发展为这一领域带来了变革。一系列创新的计算方法被开发出来用于 DNA 4mC 位点的预测。这些方法从早期的基于支持向量机的预测器（如 iDNA4mC），发展到集成了残差网络、循环神经网络和 BERT 的复杂模型（如 Deep4mcPred 和 4mCBERT）。这些方法通过利用不同的特征表示算法（如电子-离子相互作用赝势 EIIP）和先进的深度学习架构（如 CNN-RNN 混合结构、多尺度感受野和自注意力机制），不断提升预测的精度和效率。

尽管取得了这些进步，但利用人工智能进行 DNA 4mC 位点分析仍面临一些挑战：

  1. 模型性能：需要进一步提升各项评估指标。
  2. 模型鲁棒性：许多研究忽略了对模型稳健性的讨论。
  3. 计算效率：需要优化算法以加快收敛速度并减少计算资源消耗。

为了应对这些挑战，作者提出了 DeepSF-4mC，一个专为预测 DNA 4mC 甲基化位点而设计的深度学习模型。

2. DeepSF-4mC 方法

DeepSF-4mC 是一个专门为处理 DNA 序列数据并执行二元分类任务而定制的深度学习模型，其核心在于整合了迁移学习和集成学习机制。

2.1 基准数据集

本研究使用的数据集整合了三个不同物种，拟南芥 (A. thaliana)、秀丽隐杆线虫 (C. elegans) 和黑腹果蝇 (D. melanogaster)的 4mC 位点数据。数据集中的阳性样本均来自于 MethSMRT 数据库，其中心胞嘧啶为甲基化状态。为了保证数据质量和减少同源性偏差，序列相似性超过80%的序列已被移除。每个物种包含20,000个阳性样本和20,000个阴性样本，序列长度均为41 bp。

2.2 特征编码方法

为了将 DNA 序列转换为深度学习模型可以处理的数值表示，作者评估了多种编码方法，并最终采用了集成学习和迁移学习两种策略。

2.2.1 集成学习编码方法 (Ensemble Learning Encoding)

作者评估了多种编码技术，并从中挑选出表现最优的四种进行组合，以用于一个基于 DNN 的模型：

  1. 二进制编码 (Binary encoding)：将每个碱基表示为一个二进制数，简单高效。
  2. 核苷酸化学性质编码 (NCP encoding)：描述 DNA 序列的三维结构信息。
  3. 增强核酸组成编码 (ENAC encoding)：利用 DNA 序列的物理属性（如半径、形状、电荷）进行编码。
  4. 电子-离子相互作用赝势编码 (EIIP encoding)：通过分配电离势值来描述 DNA 序列的物理性质。

2.2.2 迁移学习编码方法 (Transfer Learning Encoding)

在迁移学习分支中，作者采用了独热编码 (one-hot encoding)。这种方法将每个碱基表示为一个稀疏的独热向量（例如，A表示为$[1,0,0,0]$），简单、易于解释且在深度学习框架中处理效率高。

2.3 DeepSF-4mC 的架构

DeepSF-4mC 是一个集成了多个深度学习模型的堆叠集成学习框架。

该框架包含三个并行的基础深度学习模型，每个模型都应用了迁移学习：

在训练阶段，作者首先在训练集上训练上述三个基础模型。然后，将这三个模型在训练集上预测出的样本为阳性的概率，作为新的特征，用于训练一个线性回归模型（作为元模型）。

在预测阶段，将测试集样本分别输入到训练好的三个基础模型中，得到它们的预测概率。然后，将这些预测概率作为新特征，输入到训练好的线性回归元模型中，得到最终的集成预测结果。

2.4 模型训练与验证

实验采用五折交叉验证。数据集被随机划分为五个均等的子集，轮流使用其中一个作为测试集，其余四个作为训练集。

使用准确率 (ACC)、召回率 (Recall/SN)、精确率 (Precision/PR)、F1分数 (F1 score) 和马修斯相关系数 (MCC) 等标准分类指标来评估模型性能。其计算公式如下：

\[\begin{cases} Acc = \frac{TP + TN}{TP + FP + TN + FN} \\ SN = Recall = \frac{TP}{TP + FN} \\ SP = \frac{TN}{TN + FP} \\ MCC = \frac{TP \times TN - FP \times FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}} \\ F1 = \frac{2 \times PR \times RE}{PR + RE} \end{cases}\]

其中，TP, FP, TN, FN 分别代表真阳性、假阳性、真阴性、假阴性。

模型训练使用交叉熵损失。关键超参数如学习率、dropout 率等通过网格搜索进行优化。

3. 实验分析

作者通过一系列实验，系统地评估了 DeepSF-4mC 的性能及其各个设计环节的有效性。

3.1 与其他先进模型的性能比较

作者将 DeepSF-4mC 与六种现有的先进方法进行了比较。结果显示，DeepSF-4mC 在秀丽隐杆线虫 (C. elegans) 和黑腹果蝇 (D. melanogaster) 数据集上均取得了最佳的综合性能。在拟南芥 (A. thaliana) 数据集上，其综合性能排名第二。这些结果凸显了深度学习在 DNA 4mC 位点预测中的巨大潜力。

3.2 评估不同编码技术对性能预测的影响

作者评估了多种编码技术在三个物种数据集上的性能。结果显示，Binary, NCP, ENAC 和 EIIP 这四种编码方法在不同物种上均表现出一致且优异的性能，表明它们具有良好的鲁棒性和稳定性。这四种方法各自从不同角度捕捉 DNA 序列的特征，为后续的集成学习提供了多样化的信息输入。

3.3 评估迁移学习对模型性能的影响

作者比较了使用迁移学习（即使用预训练的 CNN 模型）和不使用迁移学习（从零开始训练）的性能。结果显示，在所有三个物种上，应用迁移学习的模型在准确率 (ACC)、敏感性 (SN)、特异性 (SP)、MCC、AUC 和 F1-Score 等所有指标上均优于不使用迁移学习的模型。例如，在 D. melanogaster 上，准确率提升了1.36%。此外，预训练模型在训练初期表现出更高的学习效率和更快的收敛速度。这证明了迁移学习在解决数据稀缺问题和加速模型训练方面的明显优势。

3.4 检验集成学习对模型性能的影响

作者比较了集成学习模型与单个基础模型（DNN, CNN, LSTM 及其迁移学习版本）的性能。结果清晰地显示，集成学习策略在所有三个物种的数据集上，其性能均显著优于任何一个单一分类器。通过对不同模型的预测结果进行加权或投票，集成学习有效减少了单个模型的不确定性和偏见，从而获得了更可靠的分类结果。

为了评估集成学习在提升模型稳定性方面的作用，作者使用不同的随机种子进行了30次验证实验。结果显示，集成模型的方差更小，均值更高，这有力地证明了 DeepSF-4mC 的集成学习策略能有效降低模型的不稳定性。

3.5 模型训练过程与参数设置

模型在三个物种数据集上的收敛性能曲线显示，模型的损失值在约15个训练周期后趋于稳定，表明其具有良好的收敛性。同时，使用了迁移学习的模型，其初始损失值显著低于从零开始训练的模型，再次验证了迁移学习的优势。

3.6 在其他数据集上的性能表现

为了进一步验证模型的泛化能力，作者在另外两个包含更多物种的数据集上对 DeepSF-4mC 进行了测试。结果显示，在包含六个物种的数据集上，DeepSF-4mC 的性能优于现有的先进方法（DeepTorrent, 4mcPred, iDNA4mC）。在小鼠 4mC 位点预测数据集上，DeepSF-4mC 的性能也优于 4mCpred-EL 和 i4mC-Mouse。这些结果证明了 DeepSF-4mC 具有良好的泛化能力和广泛的适用性。