0. TL; DR

DeepTorrent 是一种基于深度学习的 4mC 位点预测器。DeepTorrent 结合了四种不同的特征编码方案来编码原始 DNA 序列，并采用了一个集成了 inception 模块和双向长短期记忆网络 (BLSTM) 的多层卷积神经网络，以有效学习高阶特征表示。此外，模型还采用了注意力机制和迁移学习技术来训练一个稳健的预测器。

通过在一个包含六个物种的混合数据集上进行预训练，然后再在特定物种的数据集上进行微调，有效解决了小样本数据集容易过拟合的问题。在广泛的基准测试中，DeepTorrent 的性能显著优于多种现有的先进方法，证明了其在 4mC 位点预测中的高准确性和鲁棒性。

1. 背景介绍

DNA 甲基化是一种重要的表观遗传修饰，它在不改变 DNA 序列的情况下，为 DNA 序列赋予了非编码的遗传信息。DNA 甲基化与基因表达调控、基因组印记和细胞分化等多种生物学过程相关。

常见的 DNA 甲基化类型包括 5-甲基胞嘧啶 (5mC)、N6-甲基腺嘌呤 (6mA) 和 N4-甲基胞嘧啶 (4mC)。其中，4mC 在原核生物中较为常见，但在真核生物基因组中很难用传统技术检测。尽管如此，4mC 在调控 DNA 复制和基因表达等方面扮演着重要角色。

尽管下一代测序 (NGS) 和单分子实时 (SMRT) 测序等实验技术可以用于检测 DNA 甲基化，但它们通常成本高昂、耗时，并且在区分 4mC 和 5mC 等相似修饰时面临挑战。因此，开发能够预测 DNA 甲基化位点的计算方法，为大规模鉴定甲基化位点提供了一种有用的补充策略。

近年来，已经有一些计算方法被开发出来用于 4mC 位点的预测。这些方法大致可分为两类：

传统的机器学习方法：如 iDNA4mC, 4mCPred, 4mcPred-SVM 等。这些方法通常依赖于支持向量机或集成多分类器，并使用手动设计的特征（如核苷酸化学性质 NCP、电子-离子相互作用赝势 EIIPs）来编码 DNA 序列。这些方法的性能在很大程度上取决于特征工程的质量。
深度学习方法：DL 能够自动从数据中学习多层次的抽象特征表示。然而，在 4mC 预测领域，已有的 DL 方法（如 4mCCNN）相对较少，且其框架较为简单，学习能力有限。

为了进一步提升 4mC 位点预测的性能，作者提出了 DeepTorrent，一个基于深度学习的计算框架。

2. DeepTorrent方法

DeepTorrent 的核心是一个复杂的深度学习架构，它整合了多种先进的模块来处理和学习 DNA 序列特征，并利用迁移学习策略来解决小样本问题。

2.1 数据集

作者使用了两个基准数据集进行模型的训练和评估：

Lin_2017 数据集：包含了六个物种（C. elegans, D. melanogaster, A. thaliana, E. coli, G. subterraneus, G. pickeringii）的经过实验验证的 4mC 位点。该数据集已被广泛用于现有方法的评估。
Li_2020 数据集：作者从 MethSMRT 数据库中收集了这六个物种新增的 4mC 位点，并经过严格的质量控制（modQV score ≥ 30, 序列相似性 < 70%）后构建的新数据集。

对于每个 4mC 位点，都提取其中心胞嘧啶上下游各20 bp，共41 bp的 DNA 片段作为样本。

2.2 DeepTorrent 框架

DeepTorrent 的整体框架如图所示，它将 4mC 位点预测视为一个二元分类问题，主要包含特征提取和预测两个模块。

2.2.1 特征编码方案

作者使用了七种不同的 DNA 序列编码方案，并将它们组合成四种特征编码组合作为模型的并行输入。这些编码方案包括：独热编码 (one-hot encoding)、k-间隔核酸对组成 (CKSNAP)、核苷酸化学性质 (NCP)、核苷酸的EIIPs、增强核酸组成 (ENAC)、累积核苷酸频率 (ANF) 和基于单链特性的位置特异性三核苷酸倾向 (PSTNPss)。

2.2.2 卷积神经网络 (CNN)

DeepTorrent 中包含了三层卷积层，用于从编码矩阵中并行提取特征。

第一层卷积层包含三个并行的卷积块，其卷积核大小分别为1、3和5。每个块有32个滤波器。这一层提取的特征被一个合并层拼接起来。

第二、三层卷积层采用了 inception 模块的结构。每个 inception 模块也包含三个并行的卷积块（核大小分别为1、3、5），但其中核大小为3和5的卷积块的输入，来自于核大小为1的卷积块的输出。这种设计可以在不同尺度上提取更高阶的抽象特征。

2.2.3 注意力层 (Attention Layer)

注意力机制能够自适应地关注输入特征中的重要部分。作者在 DeepTorrent 中实现了一个注意力层，它能够同时在特征维度和序列维度上选择重要的特征。具体来说，CNN 层的输出矩阵及其转置矩阵同时被送入注意力层，从而使模型能够从两个不同维度学习特征的重要性。

2.2.4 双向长短期记忆网络 (Bidirectional Long Short-Term Memory, BLSTM)

BLSTM 由两个反向的单向 LSTM 网络组成，能够捕捉序列中的长程依赖关系，并整合前向和后向的上下文信息。在 DeepTorrent 中，CNN 层的输出被连接到两个额外的 BLSTM 网络，分别处理序列维度和特征维度的输出。

2.2.5 全连接层和输出层

通过 CNN, 注意力层和 BLSTM，每个输入的特征编码组合都会生成四种特征向量。对于四种编码组合，总共会产生16个特征向量。

一个合并层将这16个特征向量拼接成一个组合特征向量。该组合向量被送入一个包含两层的全连接网络。最后，输出层使用 softmax 损失函数作为分类器，生成最终的预测结果（4mC 位点或非 4mC 位点）。

2.2.6 参数优化与迁移学习

作者使用贝叶斯优化 (Bayesian optimization) 来自动寻找 CNN 的最优超参数。

由于每个物种的特异性数据集相对较小，直接在上面训练深度学习模型容易导致过拟合。为了解决这个问题，作者采用了一种迁移学习策略：

首先，将所有六个物种的数据合并成一个大的数据集，在这个大数据集上训练一个基础网络 (base network)。
然后，对于每个特定物种，将预训练好的基础网络的前 $n$ 层参数复制过来并冻结。
最后，仅对该物种特异性模型的剩余层进行微调（fine-tune）。

3. 实验分析

作者在 Lin_2017 和 Li_2020 两个数据集上对 DeepTorrent 的性能进行了详细的评估和讨论。

3.1 在 Lin_2017 数据集上的性能评估

图 A: 作者首先评估了15种不同的编码组合对模型性能的影响。结果显示，将所有四种编码组合（1-2-3-4）全部用上的模型取得了最佳的整体性能。
图 B: 基础模型的训练过程显示，训练损失和验证损失曲线走势相似，且在约170个周期后，模型在训练集和验证集上都取得了较高的准确率，表明基础模型为后续的迁移学习提供了坚实的基础。