0. TL; DR

为了准确预测 4mC 位点，作者提出了一个名为 4mCNLP-Deep 的计算模型。该模型利用词嵌入方法作为向量表示，并采用卷积神经网络算法，在秀丽隐杆线虫 (C.elegans) 的基因组数据集上预测 4mC 和非 4mC 位点。

在 C.elegans 数据集上，4mCNLP-Deep 在所有评估指标上均显著优于现有的先进模型 4mCDeep-CBI，展示了其高准确性和鲁棒性。利用计算机模拟诱变和显著性图两种可视化技术，揭示了模型做出预测时所关注的关键序列位置和基序。

1. 背景介绍

DNA 甲基化是一种在不改变 DNA 碱基序列的情况下改变遗传表现的机制。它通过 DNA 甲基转移酶（DNMTs）将甲基基团添加到特定的核苷酸上，从而在基因表达、基因组印记、染色体稳定性和细胞发育等多种生物过程中发挥重要作用。目前研究最广泛的三种甲基化类型是 N4-甲基胞嘧啶 (4mC)、5-甲基胞嘧啶 (5mC) 和 N6-甲基腺嘌呤 (6mA)。

其中，4mC 修饰被认为是一种动态的表观遗传修饰，它通过限制-修饰 (R-M) 系统保护自身 DNA 免受限制性内切酶的降解，并在 DNA 复制和基因表达等过程中扮演重要角色。然而，由于缺乏足够的鉴定技术，与 5mC 和 6mA 相比，对 4mC 的研究相对滞后。尽管存在一些实验方法（如质谱法、SMRT 测序等），但它们在大规模、全基因组应用时成本高昂且耗时。

近年来，一系列新颖的计算方法被提出来用于识别 4mC 位点。这些方法大多依赖于传统机器学习算法，并结合不同的编码技术（如二进制编码、核苷酸化学性质等）。最近，基于深度学习的模型，如 DNC4mC-Deep 和 4mCDeep-CBI，开始被应用于这一领域，它们通过卷积神经网络和双向长短期记忆网络来自动提取深层特征。

在此背景下，作者开发了一个名为 4mCNLP-Deep 的新工具。与以往的方法不同，该模型首次将自然语言处理中的词嵌入 (word embedding) 方法引入 4mC 识别任务，并将 DNA 序列视为一种语言，从而捕捉其上下文信息。

2. 4mCNLP-Deep 方法

4mCNLP-Deep 的核心是一个基于 CNN 的深度学习模型，它利用 word2vec 进行特征表示。

2.1 基准数据集

作者使用了秀丽隐杆线虫 (C. elegans) 数据集。该数据集在原有数据的基础上，从 MethSMRT 数据库中整合了新的 4mC 样本。经过严格的质量控制（modQV score > 30）和去冗余处理（使用 CD-HIT，序列相似性阈值为0.80）后，最终的数据集包含11,173个 4mC 样本（阳性样本）和6,635个非 4mC 样本（阴性样本）。所有样本序列长度均为41 nt。

2.2 分布式特征表示 (Distributed feature representation)

传统的手工特征工程耗时费力，而分布式特征表示能够自动从数据中学习最优的特征集。作者将 DNA 序列看作是一种“语言”，并采用了 NLP 领域中著名的 word2vec 技术进行特征表示。

为了训练 word2vec 模型，首先需要一个大规模的文本语料库。作者从 UCSC 数据库下载了 C. elegans 的全基因组序列，并将其分割成长度为41 nt的“句子”，从而构建了一个基因组级别的语料库。

将连续的 DNA 序列通过 k-mer 的方式分割成“单词”。例如，当 $k=3$ 时，序列 ACGTCA 会被分割成 ACG, CGT, GTC, TCA 等单词。

作者使用连续词袋模型 (Continuous Bag-of-Words, CBOW) 来训练 word2vec 模型。CBOW 通过周围的上下文词来预测中心词。在本研究中，作者为每个 k-mer 单词生成了一个100维的向量。作者分别尝试了 $k=2, 3, 4$ 三种情况。

通过这种方式，一个长度为41 nt的 DNA 序列被转换成了一个 $(41-k+1) \times 100$ 的特征矩阵，作为 CNN 模型的输入。

2.3 4mCNLP-Deep 模型架构

作者通过网格搜索 (grid search) 算法对超参数进行调优，最终确定了一个最优的 CNN 模型架构。该模型包含三个卷积块，每个块都由卷积层 (Conv1D)、组归一化层 (GroupNormalization)、最大池化层 (MaxPooling1D) 和 dropout 层组成。

卷积块第一块32个大小为5的滤波器，第二块32个大小为5的滤波器,第三块16个大小为4的滤波器。所有卷积层都使用了 L2 正则化和 ELU 激活函数。

在每个卷积层之后，使用 GN 对特征图进行归一化。GN 将通道分成若干组，并在组内进行归一化，对小批量尺寸不敏感。最大池化用于降低特征维度，减少冗余信息。

在三个卷积块之后，一个扁平化 (flatten) 层将多维特征图展平为一维向量。一个包含32个神经元的全连接层用于进一步整合特征。最后，一个使用 sigmoid 激活函数的单节点全连接层输出最终的分类概率（0到1之间）。

2.4 模型训练与评估

模型使用 Keras 框架实现，优化器为随机梯度下降，学习率为0.004，损失函数为二元交叉熵。

使用k折交叉验证 (k-fold cross-validation)（$k=3, 5, 10$）来评估模型性能。评估指标包括准确率 (ACC)、马修斯相关系数 (MCC)、特异性 (Sp)、敏感性 (Sn) 和曲线下面积 (AUC)。

\[\begin{align*} ACC &= \frac{TP + TN}{TP + TN + FP + FN} \\ MCC &= \frac{TP \times TN - FP \times FN}{\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}} \\ SP &= \frac{TN}{TN + FP} \\ SN &= \frac{TP}{TP + FN} \end{align*}\]

3. 实验分析

作者在一系列实验中对 4mCNLP-Deep 的性能进行了评估，并与现有的先进模型进行了比较。

3.1 性能评估

作者在 C. elegans 数据集上，使用不同的 k-mer (2, 3, 4) 和不同的交叉验证折数 (3, 5, 10) 进行了多组实验。结果显示，使用 3-mer 和 4-mer 的性能普遍优于 2-mer。随着折数的增加（从3到10），模型的性能也普遍提升。

为了与使用3折交叉验证的先进模型 4mCDeep-CBI 进行公平比较，作者重点分析了在3折交叉验证下的结果。4mCNLP-Deep (使用 3-mer word2vec) 在所有五个评估指标上均超越了 4mCDeep-CBI。例如，ACC 提升了1.1%，MCC 提升了0.6%，AUC 更是提升了4.89%。