通过基于分布式特征表示的深度学习模型识别蔷薇科基因组DNA N4甲基胞嘧啶位点.

paper：Identifying DNA N4-methylcytosine sites in the rosaceae genome with a deep learning model relying on distributed feature representation

0. TL; DR

4mC-w2vec 是一种基于分布式特征表示和词嵌入 (word embedding) 技术的计算方法，用于在蔷薇科（Rosaceae）基因组中，特别是在月季 (R. chinensis) 和草莓 (F. vesca) 中，自动学习和区分特征。

模型采用了一个包含两层卷积神经网络 (CNN) 的深度学习架构，并通过网格搜索 (grid search) 进行了超参数优化，能够有效地从 word2vec 生成的特征中学习和分类。

与现有工具（如 i4mC-Fuse 和 DNC4mC-Deep）相比，4mC-w2vec 在使用相同基因组数据集的独立测试中表现出更优的性能。

1. 背景介绍

表观遗传学指的是不涉及 DNA 序列本身改变的、可遗传的基因功能变化。DNA 甲基化是其中研究最广泛的表观遗传标记之一。N4-甲基胞嘧啶 (4mC) 是在胞嘧啶嘧啶环的第四个位置上发生甲基化，它在原核生物中作为限制-修饰 (R-M) 系统的一部分，防御外源 DNA 的入侵。然而，由于 4mC 在真核生物基因组中含量稀少，只有通过高灵敏度技术才能检测到，因此对其生物学功能的了解相对较少。

实验方法（如 SMRT 测序）虽然可以用来鉴定 4mC 位点，但通常耗时且费力。因此，开发能够准确识别 4mC 位点的计算工具，对于分析蔷薇科基因组这样的大数据是一种更有效的方法。

目前，已有多种计算机模拟方法被提出来用于识别不同物种中的 4mC 位点。然而，据作者所知，只有两种计算方法（i4mC-Rose 和 DNC4mC-Deep）可用于识别蔷薇科基因组中的 4mC 位点。尽管这些方法取得了一定的成果，但它们的预测性能仍有很大的提升空间。这可能是因为所采用的数据集质量不足以捕捉 4mC 的基序，或者所选用的特征提取方法不足以区分正负样本。

更重要的是，以往的方法大多依赖于领域知识来手动设计输入特征。相比之下，4mC-w2vec 通过词嵌入 (word embedding) 自动捕捉高层次的输入特征，从而提供了一种新颖且高精度的计算工具。作者将 word2vec 技术与深度学习中的 CNN 相结合，旨在开发一个在平衡和不平衡数据集上都表现出色的 4mC 位点预测器。

2. 4mC-w2vec 方法

作者提出的 4mC-w2vec 方法包含两个主要步骤：使用词嵌入进行判别性特征生成，以及使用深度学习模型进行分类。

2.1 数据集构建

为了构建一个可靠的、用于训练和测试的序列标识符，作者独立地构建了一套完整的训练和独立测试数据集。

从 MDR 数据库获取了草莓 (F. vesca) 和月季 (R. chinensis) 基因组中的 4mC 阳性样本。所有序列长度均设为41 nt，且中心为胞嘧啶（’C’）。为了构建一个更可靠的模型，作者采用了严格的标准，只保留修饰 QV (modQV) 分数 $\ge 30$ 的序列作为阳性样本。使用 CD-HIT 软件，以65%的序列相似性为阈值，移除了冗余序列。

将筛选后的阳性样本按约80:20的比例划分为训练集和独立测试集。为了测试模型在真实世界数据（通常是不平衡的）上的效率，作者为独立测试集构建了三种不同比例（1:1, 1:5, 1:15）的正负样本组合。

2.2 分布式特征表示 (Distributed Feature Representation)

面对复杂、充满噪声且分布不平衡的生物数据，作者决定采用词嵌入技术，即 word2vec，来生成最优的特征向量集。该技术将 DNA 序列视为一种“语言”，并从中学习其内在的语义关系。

首先，需要构建一个用于训练 word2vec 的大规模语料库。作者从 NCBI 获取了 F. vesca 和 R. chinensis 的完整基因组，并将其分割成长为200 nt的“句子”。将每个“句子”通过重叠的 3-mer 窗口分割成“单词”（例如，AAT, CCT, GCN 等）。

作者采用了连续词袋模型 (Continuous Bag-Of-Words, CBOW) 来训练 word2vec 模型。CBOW 通过其上下文（邻近的单词）来预测中心词。训练完成后，每个 3-mer “单词”都被表示为一个100维的向量。因此，一个长度为 $L$ 的 DNA 序列最终被表示为一个形状为 $(L-2) \times 100$ 的数组，作为 CNN 模型的输入。

2.3 CNN 模型

作者使用了一个卷积神经网络 (CNN) 模型来学习从 word2vec 中生成的特征。

通过网格搜索 (grid search) 策略对超参数进行优化后，最终的 CNN 模型包含：

两个一维卷积层（Conv1D），每个层包含64个大小为9的滤波器。
每个卷积层后都跟随一个 ReLU 激活函数。
第一个卷积层后接一个 dropout 层，丢弃率为0.7，以防止过拟合。
一个单节点的全连接层，后接一个 sigmoid 函数，用于最终的二元分类。

使用 RMSprop 优化器，学习率为0.0007。损失函数为二元交叉熵 (binary cross-entropy)，批大小为128。通过在训练阶段设置类别权重，使得模型能够处理不平衡的数据集。

3. 实验分析

作者在一系列实验中评估了 4mC-w2vec 的性能，并与其他方法进行了比较。

3.1 核苷酸组成偏好性分析

作者使用 Two Sample Logo 工具分析了阳性样本（含 4mC）和阴性样本（不含 4mC）在41 nt窗口内的核苷酸分布偏好。

在 F. vesca 和 R. chinensis 两种物种中，4mC 和非 4mC 样本周围的核苷酸分布都存在统计上显著的位置特异性差异。例如，在 F. vesca 中，胞嘧啶 (C) 和鸟嘌呤 (G) 在阳性样本中显著富集。这些结果表明，仅通过序列信息来设计一个计算模型来识别 4mC 位点是可行的。

3.2 不同编码方法的效果

作者首先比较了基于不同 k-mer (k=1-6) 的 word2vec 模型与传统的独热编码 (one-hot encoding) 在5折交叉验证中的性能。结果显示，对于两种物种，基于 3-mer 的 word2vec 模型在 MCC, ACC, AUC 等多个指标上都表现最佳。

ROC 曲线直观地展示了 word2vec (基于 3-mer) 相对于独热编码的优势。

图 a (F. vesca): 使用 word2vec 的 auROC (0.9400) 显著高于使用独热编码的 (0.8920)。
图 b (R. chinensis): 使用 word2vec 的 auROC (0.9370) 同样高于使用独热编码的 (0.9110)。

基于这些结果，作者将基于 3-mer 的 word2vec 和 CNN 的组合定为最终的 4mC-w2vec 模型。

3.3 在独立测试集上与现有方法的性能比较

为了证明 4mC-w2vec 的优越性，作者将其与两种现有的、同样专注于蔷薇科基因组的工具（i4mC-Fuse 和 DNC4mC-Deep）进行了比较。作者在三种不同比例（1:1, 1:5, 1:15）的平衡/不平衡独立测试集上进行了评估。

该表详细列出了三种方法在不同数据集和不同评估指标下的性能。在所有物种（F. vesca 和 R. chinensis）和所有数据比例下，4mC-w2vec 在所有评估指标（Sn, Sp, ACC, MCC, PRauc）上都取得了最佳性能。

该图通过精确率-召回率 (Precision-Recall, PR) 曲线直观地展示了模型的性能。在处理不平衡数据集时，PR 曲线比 ROC 曲线更具信息量。

图 a-c (F. vesca): 在 F. vesca 的三种数据比例下，4mC-w2vec 的 PR 曲线始终位于其他两种方法的上方，其 PRauc 值也最高。
图 d-f (R. chinensis): 在 R. chinensis 上也观察到了同样的结果。
值得注意的是，随着数据不平衡程度的增加（从1:1到1:15），其他方法的性能有所下降，而 4mC-w2vec 的性能保持稳定，甚至在某些指标上有所提升。

作者认为，4mC-w2vec 取得优越性能的主要原因有两点：

自动特征学习：与需要手动设计特征的先前方法不同，4mC-w2vec 使用 word2vec 模型自动地从完整的基因组中学习特征。
更优的特征表示：基于从全基因组信息中学到的 word2vec 编码，能够比独热编码等简单技术更好地表示输入序列。