基于深度学习的DNA N4甲基胞嘧啶位点的系统分析与准确识别.

0. TL; DR

作者对现有的14种基于深度学习的 4mC 预测器进行了全面的总结，并系统性地评估了三种主流深度学习架构（CNN, RNN, CNN-RNN）和两种编码方法（one-hot, dictionary）在 4mC 预测任务上的性能。

通过在一系列优化实验后，作者发现卷积-循环神经网络 (CNN-RNN) 架构，结合独热编码 (one-hot) 和注意力机制，取得了最佳的整体预测性能。

作者将最终确定的最优模型命名为 DeepDNA4mC，并在相同数据集上进行了广泛的比较实验。作者引入了 UMAP 可视化和 Deep SHAP 等方法，对深度学习模型进行了解释，揭示了模型内部的特征学习过程以及对预测贡献最大的序列基序。

1. 背景介绍

DNA 甲基化是生物体中最重要的表观遗传修饰之一，在基因表达、基因组印记、细胞发育等众多细胞过程中扮演着重要角色。根据甲基基团发生的位置，DNA 甲基化主要分为 N6-甲基腺嘌呤 (6mA)、C5-甲基胞嘧啶 (5mC) 和 N4-甲基胞嘧啶 (4mC)。

其中，4mC 主要存在于原核生物中，它在区分宿主 DNA 与外源病原体 DNA、调控 DNA 复制、修复和表达等方面起着关键作用。然而，由于缺乏有效的检测方法，对 4mC 的研究相对滞后。尽管存在一些实验方法（如 SMRT 测序），但它们通常成本高昂、耗时且复杂。因此，开发基于机器学习的计算方法来有效、准确地识别 4mC 位点变得至关重要。

自2017年第一个 4mC 预测器 iDNA4mC 诞生以来，已有至少33个预测器被开发出来。早期的预测器大多基于传统的机器学习算法，如支持向量机和随机森林。这些方法虽然取得了一定的成功，但它们严重依赖于手工设计的特征，并且在处理大规模数据集时可能面临效率问题。

近年来，深度学习算法因其能够自动从原始数据中学习内在特征而备受青睐。迄今为止，已有至少14个基于深度学习的 4mC 预测器被报道，其中卷积神经网络 (CNN) 是最常用的架构。CNN 的优势在于其卷积层能够像基序检测器一样，从数据中学习到位置权重矩阵。

然而，尽管深度学习在 4mC 预测中展现出巨大潜力，但仍存在许多挑战。例如，为什么 CNN 及其变体是更优的选择？不同深度学习方法在不同规模、技术、物种和复杂度的数据集上的相对性能如何？更重要的是，深度神经网络在很大程度上仍被视为“黑箱”，其内部工作机制和决策依据尚不明确。

因此，对用于 DNA 4mC 位点预测的深度学习算法进行全面、综合和可视化的分析，是至关重要且迫在眉睫的。在本文中，作者旨在为设计、实现和分析用于 DNA 4mC 位点的深度学习模型提供有价值的参考。

2. DeepDNA4mC方法

作者通过一系列系统的实验，对不同的深度学习架构和特征编码方法进行了评估，并最终提出了一个最优的模型 DeepDNA4mC。

2.1 基准数据集

作者主要使用了两个标准数据集进行评估：

  1. Zeng_2020_1 数据集：这是一个由 Zeng and Liao (2020) 建立的较大数据集，包含了拟南芥 (A. thaliana)、秀丽隐杆线虫 (C. elegans) 和黑腹果蝇 (D. melanogaster) 三个物种的数据。所有序列长度均为41 bp，并经过了80%的序列相似性去冗余处理。每个物种包含20,000个阳性样本和20,000个阴性样本。
  2. Zeng_2020_2 数据集：这是一个由 Zeng et al. (2020) 建立的、新的、更大的 C. elegans 数据集，包含11,173个阳性样本和6,635个阴性样本。

2.2 特征编码方法

在将 DNA 序列输入到神经网络之前，需要将其转换为数值矩阵。作者考虑了两种常用的编码方法：

  1. 独热编码 (One-hot encoding)：将 A, C, G, T 四种核苷酸分别编码为 $[1,0,0,0], [0,1,0,0], [0,0,1,0], [0,0,0,1]$。一个长度为 $N$ 的序列被表示为一个 $N \times 4$ 的矩阵。
  2. 字典编码 (Dictionary encoding)：将 A, C, G, T 分别编码为数字 1, 2, 3, 4。一个长度为 $N$ 的序列被表示为一个 $N$ 维的向量。

此外，作者还对这两种编码方法应用了 k-mer 机制（$k=2, 3$）。

2.3 深度学习架构

作者选择了三种代表性的深度学习架构进行评估。

2.3.1 卷积神经网络 (CNN)

一个典型的 CNN 结构，包含卷积层、ReLU 激活、最大池化层和全连接层。卷积层通过滤波器扫描输入序列，捕捉局部区域的相关性。池化层则用于降低方差和增加平移不变性。

2.3.2 循环神经网络 (RNN)

主要由堆叠的双向长短期记忆 (Bi-LSTM) 单元构成。Bi-LSTM 能够从前向和后向两个方向处理序列，因此能更好地捕捉序列中的长程依赖和上下文信息。

2.3.3 卷积-循环神经网络 (CNN-RNN)

一个混合架构，依次包含卷积层、池化层、RNN 层和自注意力层。CNN 层首先从序列中吸收邻近碱基的信息，然后将其输出传递给 RNN 层进行学习。这种结构使得 RNN 能够学习到包含局部环境信息的特征。

在 Bi-LSTM 层之后加入一个自注意力层，允许模型在不局限于序列顺序的情况下，更多地关注特定的序列模式，从而增加模型的稳定性。其计算公式如下：

\[v = \text{softmax}(\tanh(X \cdot W_q + X \cdot W_k + \epsilon_{bh}) \cdot W_a + \epsilon_{ab}) \cdot X\]

其中，$W_q, W_k, W_a$ 是可学习的权重，$\epsilon_{bh}, \epsilon_{ab}$ 是偏置向量。

2.4 评估、解释与可视化

使用召回率 (Recall/Sensitivity)、精确率 (Precision, PRE)、准确率 (ACC)、F1值 (F-value) 和马修斯相关系数 (MCC) 等指标进行评估。

为了衡量每个输入特征对预测的重要性，作者使用了 Deep SHAP 方法。该方法为每个输入特征分配一个 SHAP 值 $\phi_i$，表示该特征对模型输出的贡献度。

\[\phi_i(f, x) = \sum_{S \subseteq S_{all}/\{i\}} \frac{|S|! (M-|S|-1)!}{M!} [f_x(S \cup \{i\}) - f_x(S)]\]

使用均匀流形近似与投影 (UMAP) 对模型不同隐藏层的内部表示进行降维和可视化，以直观地观察样本的区分过程。

3. 实验分析

作者在两个标准数据集上，对不同的深度学习方法进行了系统性的性能评估。

3.1 在 Zeng_2020_1 数据集上的性能评估

3.1.1 CNN 和 CNN-RNN 中超参数的选择

作者首先在 C. elegans 数据集上，对 CNN 和 CNN-RNN 架构中的滤波器数量、卷积核大小和池化大小等超参数进行了网格搜索。

在所有超参数组合中，CNN-RNN 架构的整体预测性能始终优于 CNN。

3.1.2 RNN 和 CNN-RNN 中 LSTM 单元大小的选择

作者接着评估了 RNN 和 CNN-RNN 中 LSTM 隐藏单元数量对性能的影响。结果显示，两种架构都在隐藏单元数量为128时取得了最佳性能。此时，纯 RNN 架构的性能（MCC=0.788）略高于 CNN-RNN（MCC=0.783）。

3.1.3 不同深度学习架构的性能比较

在确定了各自的最优超参数后，作者比较了 CNN, RNN, CNN-RNN 三种架构在三个物种上的性能。A. thaliana: RNN 表现最佳（MCC=0.701）。C. elegans: RNN 表现最佳（MCC=0.788）。D. melanogaster: CNN-RNN 表现最佳（MCC=0.736）。CNN 在所有三个物种上都表现最差。

3.1.4 整合自注意力机制提升模型性能

作者测试了在 RNN 和 CNN-RNN 架构中加入自注意力机制后的性能。结果显示，加入注意力机制后，CNN-RNN_attention 模型在 C. elegans 和 D. melanogaster 上都取得了最佳性能，其 MCC 分别达到了0.789和0.749。这表明，整合自注意力机制可以提升 4mC 位点预测的性能。因此，作者最终选择 CNN-RNN_attention 架构作为最终模型，并将其命名为 DeepDNA4mC。

3.1.5 不同编码方法的性能比较

作者在最终的 CNN-RNN_attention 模型上，比较了不同编码方法（one-hot 和 dictionary，结合不同 k-mer）的性能。

结果一致地显示，在所有三个物种上，1-mer_onehot（即标准的独热编码）都取得了最佳的准确率和 MCC。随着 k-mer 值的增加，模型性能逐渐下降。

3.1.6 DeepDNA4mC 与其他先进方法的比较

作者将最终确定的 DeepDNA4mC（即 CNN-RNN_attention + one-hot）与其他五种先进方法进行了比较。

结果显示，DeepDNA4mC 在 C. elegans 和 D. melanogaster 上取得了最佳的整体性能，而在 A. thaliana 上取得了次优的性能。这表明，基于深度学习的预测器（DeepDNA4mC 和 Deep4mcPred）取得了令人满意的结果，并显示出巨大的潜力。

3.2 DeepDNA4mC 的评估、解释和可视化

DeepDNA4mC 在三个物种上都取得了非常高的 AUC 值（0.920-0.953），展示了其作为分类器的准确性。

通过 UMAP 可视化 D. melanogaster 数据集上模型不同层的内部表示，可以清晰地看到随着网络层次的加深，4mC 和非 4mC 样本的表示从最初的混合状态，逐渐分离成两个清晰可辨的簇。这直观地展示了深度学习模型逐层提取和区分特征的过程。

作者可视化了 BiLSTM 层中隐藏神经元的注意力权重。热图显示了不同神经元对 4mC 和非 4mC 分类的贡献度。

使用 Deep SHAP 分析了每个输入位置对预测的贡献度，并以序列 logo 的形式展示。结果揭示了在不同物种中，对 4mC 预测最重要的序列基序。例如，在 A. thaliana 中是 CGAAC，在 C. elegans 中是 ATTAT，在 D. melanogaster 中是 GGGT。这些通过 Deep SHAP 发现的新基序模式，是传统基序分析无法检测到的，值得进一步的表观遗传学研究。