DCNN-4mC: 基于密集连接神经网络的多物种N4甲基胞嘧啶位点预测.

paper：DCNN-4mC: Densely connected neural network based N4-methylcytosine site prediction in multiple species

0. TL; DR

DCNN-4mC 包含一组带有跳跃连接 (skip connection) 的神经网络层，允许浅层特征与深层共享，在12个不同物种上进行了训练和评估，是迄今为止覆盖物种最多的 4mC 预测模型。

在对12个不同物种的现有数据集进行基准测试时，DCNN-4mC 的准确率比现有的先进工具高出2%到14%。在更新后的数据集和独立的测试集上，模型同样表现出优异的性能。

1. 背景介绍

表观遗传修饰是在不改变原始 DNA 序列的情况下，基因表达发生的可遗传改变。DNA 甲基化已被证明可以改变染色质结构、DNA 构象、DNA 完整性和遗传密码相互作用。目前，N6-甲基腺嘌呤 (6mA)、5-甲基胞嘧啶 (5mC) 和 N4-甲基胞嘧啶 (4mC) 是基因组中常见的三种 DNA 甲基化形式。

其中，4mC 修饰在区分宿主 DNA 与外源病原体 DNA、调控 DNA 复制过程和修复复制错误方面发挥着重要作用。然而，尽管实验方法（如亚硫酸氢盐测序和 SMRT 测序）有助于识别 4mC 位点，但它们成本高昂、耗时，并且在区分 4mC 和 5mC 方面仍存在挑战。

因此，计算方法，特别是基于机器学习（ML）的方法，已成为高通量识别 DNA 甲基化位点的有价值的补充工具。自第一个 4mC 预测器 iDNA4mC 诞生以来，已有一系列基于 ML 的工具被提出，如 4mCPred, 4mcPred-SVM, i4mC-ROSE 等。这些工具在不同物种上取得了不错的成果。

然而，这些基于传统 ML 的技术，其预测能力在很大程度上依赖于特征的质量。由于对 4mC 的研究相对较少，提取具有显著区分能力的有效特征是一项困难的任务。

相比之下，深度学习能够通过多个神经网络层自动学习深层特征，为解决这一问题提供了新的途径。尽管已有少数基于深度学习的 4mC 预测工具被提出（如 DeepTorrent, 4mCCNN），但它们仍然缺乏泛化能力 (generalizability)，没有一个模型被提出用于超过六个物种。

为此，作者提出了 DCNN-4mC（基于密集连接神经网络的 N4-甲基胞嘧啶位点预测），一个旨在为12个不同物种提供通用预测框架的工具。该模型通过跳跃连接增强特征学习，并在一个全面整合的数据集上进行了广泛的评估。

2. DCNN-4mC方法

DCNN-4mC 的整体框架如图所示，主要包括五个步骤：数据集准备、序列编码、CNN 模型训练、模型评估和网络服务器生成。

2.1 数据集准备

作者首先对文献进行了广泛的回顾，从 MDR 数据库和 MethSMRT 数据库中，收集了所有可用的、针对12个不同物种的 4mC 数据集。对于那些有多个可用数据集的物种（如 C. elegans, D. melanogaster 等），作者将它们合并成一个统一的、更大的数据集。在合并过程中，使用 CD-HIT 软件移除了冗余序列，并确保训练集和测试集之间没有重叠。最终，为每个物种都构建了一个更新的、统一的基准数据集。

2.2 序列编码

DNA 序列首先需要被转换为神经网络可以处理的数值格式。作者采用了简单而高效的独热编码 (One-hot encoding) 方案。

将 A, C, G, T 四种核苷酸分别编码为4维的二进制向量：

$A → (1,0,0,0)$
$C → (0,1,0,0)$
$G → (0,0,1,0)$
$T → (0,0,0,1)$

经过独热编码后，一个长度为 $l$ 的输入 DNA 序列将被表示为一个 $l \times 4$ 的矩阵。

2.3 CNN 模型

作者提出的 CNN 模型是一个基于密集连接思想的神经网络，其核心是跳跃连接 (skip connections)。

2.3.1 模型架构

模型的整体架构由三个卷积块组成。块1包含一个一维卷积层（Conv1D），64个大小为11的滤波器。块2包含一个一维卷积层，32个大小为7的滤波器。块3包含一个一维卷积层，32个大小为5的滤波器。

与传统的残差网络（ResNet）中将输入与输出相加不同，作者在这里采用了拼接操作。具体来说，块1的输入特征与块1的输出特征被拼接在一起，然后作为块2的输入。同样，块2的输入与块2的输出被拼接后，作为块3的输入。这种方式允许网络将浅层的原始特征与深层提取的抽象特征结合起来，自适应地赋予不同层次特征图相应的重要性。

在三个卷积块之后，一个最大池化 (max pooling) 层和一个 dropout 层用于降维和防止过拟合。最后，特征被一个扁平化 (flatten) 层展平，并送入一个全连接层进行最终的二元分类（4mC 或非 4mC）。

2.3.2 模型训练

使用随机梯度下降 (SGD) 作为优化器，动量为0.8，初始学习率为0.003。为了更好地优化网络，作者使用了一个自定义的损失函数，它是加权交叉熵 (Weight Cross-Entropy, WCE) 和 Dice 损失系数 (Dice Loss Coefficient, DLC) 的和。

\[\begin{align*} WCE &= - \sum_{L} w_L l_L \log(P_L) \\ DLC &= 1 - 2 \frac{\sum_{L} w_L l_L P_L}{\sum_{L} w_L (l_L + P_L)} \\ L_{total} &= WCE + DLC \end{align*}\]

考虑到不同物种的数据集大小差异很大，作者为不同规模的数据集设计了自适应的模型架构。对于数据量充足的物种，使用完整的三块架构；对于数据量中等的物种，移除块1；对于数据量非常小的物种，则只使用块3。

3. 实验分析

作者对 DCNN-4mC 的性能进行了全面的评估，包括与现有方法的比较，以及在更新后的数据集上的表现。

3.1 与现有方法的性能比较

作者首先在各个物种现有的数据集上，将 DCNN-4mC 与该数据集上最先进的方法进行了比较。结果显示，在所有12个物种的14个数据集上，DCNN-4mC 的性能（在所有五个指标上）均显著优于现有的方法，如 DeepTorrent, 4mcDeep-CBI, Deep4mCPred, iDNA-MS 和 i4mC-ROSE。

作者认为，DCNN-4mC 的优越性能主要归功于其跳跃连接的设计，它使得网络能够同时利用原始的浅层信息和深层网络提取的抽象信息。

3.2 在更新数据集上的性能评估

在作者整合并更新了所有物种的数据集之后，对 DCNN-4mC 进行了新一轮的评估。

该图展示了 DCNN-4mC 在12个不同物种的更新训练集上进行10折交叉验证的结果。在所有物种上，模型都取得了超过85%的准确率。MCC 值是衡量二元分类性能的一个更可靠的指标，该模型在所有物种上都取得了很高的 MCC 值，表明其预测没有偏向任何一个类别。AUC 值同样很高，例如在 C. elegans 上达到了0.984。

该图展示了模型在更新后的独立测试集上的性能。在所有12个物种上，模型同样表现出良好的性能，例如 F1-score 普遍较高。

作者使用 t-SNE 将模型展平层之后的特征表示降维到二维空间进行可视化。在 C. elegans, D. melanogaster 和 A. thaliana 三个物种的图中，可以清晰地看到，4mC 和非 4mC 的样本被分离成了两个泾渭分明的簇。这直观地证明了 DCNN-4mC 框架能够学习到具有高度区分性的特征。

3.3 跨物种验证

为了评估模型是否真正学习到了物种的遗传信息，而不是仅仅过拟合于某个数据集，作者进行了跨物种验证。

该图是一个展示了跨物种验证准确率的热图。对角线上的值代表在同一物种上训练和测试的结果。作者发现，在系统发育树上关系较近的物种之间，跨物种预测的准确率更高。例如，在 A. thaliana 上训练的模型，在 C. elegans, D. melanogaster 和 Mus musculus 等亲缘关系较近的物种上测试时，取得了不错的性能。同样，同属于蔷薇科的 R. chinensis 和 F. vesca 之间的交叉预测准确率也很高（分别为0.79和0.85）。

这些结果表明，DCNN-4mC 确实有能力学习到物种内在的遗传信息，而不仅仅是数据集的表面特征。