MSNet-4mC: 学习识别DNA N4甲基胞嘧啶位点的高效多尺度表示.

paper：MSNet-4mC: learning effective multi-scale representations for identifying DNA N4-methylcytosine sites

0. TL; DR

MSNet-4mC是一个基于残差连接和多尺度感受野的 CNN 架构。通过并行的、具有不同空洞率 (dilations) 的卷积层，能够同时捕捉 DNA 序列中的短程和长程依赖关系。广泛的基准测试实验表明，作者的方法取得了显著的性能提升，并优于其他现有的先进方法。

1. 背景介绍

DNA 甲基化是生命所有领域中一种重要的表观遗传修饰，参与了基因表达调控、染色质组织调控等多种生物过程。5-甲基胞嘧啶 (5mC)、N6-甲基腺嘌呤 (6mA) 和 N4-甲基胞嘧啶 (4mC) 是基因组中三种普遍存在的 DNA 甲基化类型。

尽管亚硫酸氢盐测序 (Bisulfite sequencing) 技术常用于检测 5mC，但它无法识别 6mA 和 4mC。单分子实时 (SMRT) 测序技术虽然能够检测所有这三种修饰，但其成本高昂、耗时且费力，特别是在大规模检测实验中。

因此，机器学习和深度学习作为替代方案，近年来在生物序列信息提取方面取得了显著成就。针对 DNA 4mC 位点预测，已经开发了多种计算方法。早期的工作如 iDNA4mC 主要基于传统的机器学习方法（如支持向量机），而近期的研究则更多地转向了深度学习。例如，4mCCNN 使用了 CNN，而 DeepTorrent 则整合了 CNN, 注意力机制和 BiLSTM。

尽管 4mC 位点预测任务已经研究多年，但在挖掘 DNA 序列内部的相互作用以及整合其他物种序列中隐含的信息方面，仍然存在巨大挑战。现有的大多数解决方案依赖于多种编码表示来有效利用序列信息，或者采用复杂的级联策略来提高预测能力。

在此背景下，作者提出了 MSNet-4mC，一个基于深度学习的计算架构。该模型的核心思想是构建一个具有多尺度感受野的结构，以感知序列中的长程和短程关系，从而提升预测能力。此外，该方法仅使用简单的独热编码作为输入，并考虑了不同物种间样本不平衡的问题。

2. MSNet-4mC方法

作者提出了 MSNet-4mC，一个新颖的 CNN 框架，用于预测 4mC 位点。该框架的核心是其多尺度感受野 (multi-scale receptive fields) 结构和处理样本不平衡的类别权重 (class weights) 策略。

2.1 数据集

作者采用了两个标准数据集来评估 MSNet-4mC 的能力。

Lin_2017 数据集：由 Chen et al. (2017) 构建，包含六个物种：C. elegans, D. melanogaster, A. thaliana, E. coli, G. subterraneus 和 G. pickeringii。所有序列长度均为41 bp，正负样本平衡。
Li_2020 数据集：由 Liu et al. (2021) 首次使用，同样包含这六个物种，但数据量更大，且正负样本在某些物种中存在不平衡。

2.2 MSNet-4mC 架构

MSNet-4mC 的整体架构如图所示，它主要由一个起始卷积层、两个相似的残差块 (residual blocks) 和两个全连接层组成。

2.2.1 输入特征矩阵

与许多使用复杂编码方案的方法不同，MSNet-4mC 仅使用最简单、最常见的独热编码 (one-hot encoding)。将 A, C, G, T 四种核苷酸分别编码为 $(1,0,0,0), (0,1,0,0), (0,0,1,0), (0,0,0,1)$。一个长度为 $n$ 的 DNA 序列被表示为一个 $4 \times n$ 维的二进制向量。此外，每个 DNA 序列都附有一个指示其物种类别的标签 (sign)，用于在计算损失时引入类别权重。

2.2.2 卷积神经网络

MSNet-4mC 的核心是一个精心设计的 CNN 结构。输入矩阵首先经过一个包含16个输出通道、卷积核大小为3的卷积层，后接批归一化 (batch normalization) 和 GELU 激活函数。

输入特征通过一个跳跃连接 (shortcut connection) 直接传递到块的末端，这借鉴了 ResNet 的思想，有助于解决深度网络中的梯度消失问题。

在主干通路中，作者设计了三个并行的卷积层。这三层具有相同的输出通道数和卷积核大小，但通过设置不同的空洞率 (dilations)（分别为1、2、4），使得它们具有不同的感受野（分别为3、5、9）。这使得模型能够同时捕捉序列中的短程和长程依赖关系。在将主干通路的输出与残差连接的输入相加之前，作者还引入了一个门控机制，以更好地融合信息。

经过两个多尺度残差块后，特征被送入两个全连接层。最后，一个 softmax 分类器输出最终的预测结果。

2.2.3 类别权重损失 (Class Weights for Loss)

由于不同物种的样本数量存在巨大差异（尤其是在 Li_2020 数据集中），直接在合并的数据集上训练模型可能会导致模型偏向于样本量大的物种。为了解决这个问题，作者在交叉熵 (cross-entropy, CE) 损失函数中引入了类别权重。

对于第 $n$ 个序列，其加权 CE 损失 $l_n$ 定义为：

\[l_n = - \sum_{i=1}^{2} \tilde{x}_c p_i \ln{q_i}\]

其中，$p_i$ 是真实标签，$q_i$ 是 softmax 预测概率，$\tilde{x}_c$ 是第 $c$ 个类（物种）的归一化权重。

为了实现平滑的校正，避免对小样本物种的过度偏置，作者使用物种频率倒数的对数来计算权重。第 $c$ 个物种的权重 $x_c$ 计算如下：

\[x_c = \ln{\frac{1}{f_c}}\]

其中，$f_c$ 是第 $c$ 个物种的训练样本数占总样本数的比例。

3. 实验分析

作者在 Lin_2017 和 Li_2020 两个基准数据集上，对 MSNet-4mC 的性能进行了详尽的评估。

3.1 在 Lin_2017 数据集上的性能评估

3.1.1 消融研究

作者比较了使用和不使用类别权重模块的模型的性能。结果显示，引入类别权重后，模型在样本量大的物种上性能略有下降（约0.1%），但在样本量小的物种上获得了显著提升（例如，在 G.subterraneus 和 G.pickeringii 上提升超过3%）。

更重要的是，模型的性能在不同物种间的方差 (variance) 显著降低，表明类别权重使得模型在不同物种上表现得更加均衡和稳定。

3.1.2 与现有方法的性能比较

作者实施了两种训练策略：从零开始训练 (from scratch) 和预训练-微调 (pre-training-fine-tuning)。

图 a: 展示了经过预训练-微调后，MSNet-4mC 在六个物种上的性能（ACC 和 AUC）。模型在所有物种上都取得了优异且稳定的性能。
图 b: 展示了相应的 ROC 曲线。

作者使用 t-SNE 对 E. coli 数据集的特征进行了可视化。可以看到，随着网络层次的加深（从输入层到 block 2，再到全连接层），原始混合在一起的正负样本逐渐被清晰地分离成两个独立的簇。这直观地证明了 MSNet-4mC 确实能够学习到用于 4mC 位点识别的有效表示。

3.2 在 Li_2020 数据集上的性能评估

为了进一步证明 MSNet-4mC 的泛化能力和有效性，作者在第二个、更大且样本不平衡的数据集 Li_2020 上进行了评估，并与其他先进方法进行了比较。

结果显示，在所有六个物种上，MSNet-4mC 在六个性能指标中的大多数上都优于其他方法。例如，在 G.subterraneus 上，其准确率和 AUC 分别提升了4.2%和4.4%。尽管在某些数据集上，性能的提升幅度不那么明显（可能是因为性能已经饱和），但 MSNet-4mC 的整体表现仍然最优。

综上所述，MSNet-4mC 通过其创新的多尺度感受野架构和类别权重策略，在不使用复杂编码方案的情况下，实现了对 DNA 4mC 位点的高效和准确预测，并在多个基准数据集上超越了现有的先进方法。