DGA-5mC: 基于改进DenseNet与双向GRU方法的5碱基胞嘧啶甲基化位点预测模型.

paper：DGA-5mC: A 5-methylcytosine site prediction model based on an improved DenseNet and bidirectional GRU method

0. TL; DR

DGA-5mC模型通过一个基于改进的密集连接卷积网络 (Densely Connected Convolutional Network, DenseNet) 和双向门控循环单元 (bidirectional Gated Recurrent Unit, GRU) 的深度学习算法，来识别启动子区域的 5mC 修饰位点。DenseNet 用于提取高级特征，BGRU 用于捕捉特征间的长程依赖，而自注意力模块则用于评估特征的重要性，形成了一个强大的特征学习流水线。

DGA-5mC 模型能够自动处理高度不平衡的正负样本数据，凸显了其可靠性和优越性。在独立测试集上，该模型在敏感性、特异性、准确率、马修斯相关系数和 AUC 等多项指标上均取得了优异的表现。

1. 背景介绍

DNA 甲基化是一种动态、可逆且可遗传的表观遗传修饰，在不改变 DNA 序列的情况下影响基因表达，对人类发育至关重要。5-甲基胞嘧啶 (5mC) 是真核生物中最普遍的 DNA 修饰形式，对基因表达的调控起着关键作用。

启动子区域的 DNA 甲基化与细胞分化、免疫系统调控以及多种疾病的发生密切相关。例如，异常的 DNA 甲基化与肝癌、肺癌等多种癌症，以及阿尔茨海默病、帕金森病等神经退行性疾病都有关联。因此，精确识别 DNA 启动子区域的 5mC 位点，对于理解癌症和人类遗传疾病中的甲基化机制具有重要意义。

在过去的十年中，已有许多计算方法被提出用于识别 5mC 位点。

高通量测序技术：虽然准确，但通常成本高昂且耗时。
传统机器学习算法：如 Staem5 (基于堆叠集成 stacking ensemble)、m5Cpred-XS (基于 XGBoost)、m5CPred-SVM (基于 SVM)。
深度学习算法：如 iPromoter-5mC (基于 DNN)、BiLSTM-5mC (基于 BiLSTM)。这些方法在性能上有所提升，但仍有改进空间。

特别是，密集连接卷积网络 (DenseNet) 作为一种先进的 CNN 架构，通过其独特的密集连接机制，有效缓解了梯度消失问题，并在生物信息学领域取得了成功。同时，双向门控循环单元 (BGRU) 擅长捕捉序列数据的长程依赖关系，而自注意力 (self-attention) 机制则能帮助模型关注更重要的特征。

受这些先进技术的启发，作者构建了一个名为 DGA-5mC 的新型深度学习模型。该模型首次将改进的 DenseNet、BGRU 和自注意力模块相结合，旨在更准确、更高效地识别启动子区域的 5mC 修饰位点。

2. DGA-5mC 方法

作者开发了一个基于深度学习的方法，名为 DGA-5mC，用于识别小细胞肺癌 (SCLC) 基因组中启动子区域的 5mC 位点。其核心在于独特的特征提取方法和创新的网络架构。

2.1 基准数据集

作者使用了由 Zhang 等人构建的 SCLC 启动子甲基化数据集。所有序列长度均为41 bp，中心为胞嘧啶(C)。数据集包含69,750个阳性样本和823,576个阴性样本，正负样本比例约为1:11，这种不平衡性客观地反映了 5mC 位点在启动子中的真实分布。

2.2 特征提取方法

作者采用了三种特征编码方法的融合，以全面地表示 DNA 序列。

独热编码 (One-hot encoding)：将 A, C, G, T 四种核苷酸分别编码为4维的二进制向量。一个41 bp的序列被转换为一个 $4 \times 41$ 的特征矩阵。
核苷酸化学性质编码 (NCP encoding)：基于三个化学性质（环结构 (Ring structure)、官能团 (Functional group)、氢键 (Hydrogen bonding)），将每个核苷酸编码为一个3维的向量。
核苷酸密度编码 (ND encoding)：计算在序列的某个位置 $i$ 之前，特定核苷酸 $R_i$ 出现的频率$P_i = \frac{\sum_{m=1}^{i} f_m(R_i)}{i}$。其中 $f_m(R_i)$ 在第 $m$ 个核苷酸 $R_m$ 与第 $i$ 个核苷酸 $R_i$ 相同时为1，否则为0。

作者将这三种编码进行融合，最终将每个41 bp的序列表示为一个 $8 \times 41$ 的特征矩阵，作为模型的输入。

2.3 分类模型 (DGA-5mC)

DGA-5mC 模型是一个集成了多种深度学习模块的混合架构，如图所示。

2.3.1 改进的 DenseNet

DenseNet 是一种基于 ResNet 的卷积网络，其核心是密集块 (dense block)。在密集块中，每一层都与所有前面的层相连接，这种密集连接 (dense connection) 机制实现了特征重用，并有效缓解了梯度消失问题。

作者移除了原始 DenseNet 的第一个卷积层，将编码后的特征矩阵直接输入到密集块中。在密集块和过渡层 (transition layer) 之间增加了一个批归一化 (BN) 层，以在更深层次上提取特征并提高模型的泛化能力。

2.3.2 双向 GRU (BGRU)

为了捕捉 5mC 特征之间的长程依赖关系，作者在 DenseNet 之后加入了一个包含两层的 BGRU 网络。

GRU 是一种比 LSTM 更简单的循环神经网络单元，它仅包含一个更新门 (update gate) $z_t$ 和一个重置门 (reset gate) $r_t$。BGRU 由一个前向 GRU 和一个反向 GRU 组成，能够同时学习序列的过去和未来信息。

2.3.3 自注意力模块 (Self-attention)

在 BGRU 处理之后，作者引入了一个自注意力模块，以学习不同特征的重要性，并为更关键的特征分配更高的权重。其核心思想是通过计算查询 (query)、$q_i$、键 (key)、$k_j$ 和值 (value)、$v_j$ 来动态地聚合信息。

2.3.4 集成学习 (Ensemble Learning)

为了进一步提升模型的性能和稳定性，作者采用了同质集成 (homogeneous ensemble) 的策略。

作者构建了三个完全相同的 DGA-5mC 网络框架。在进行5折交叉验证时，对于每一折，都使用这三个模型进行预测，并将它们的预测概率值进行平均，得到最终的预测结果。

3. 实验分析

3.1 不同特征提取技术的对比

作者首先比较了三种不同特征编码方法（one-hot, NCP+ND, 以及三者融合的 one-hot+NCP+ND）在训练集（5折交叉验证）和独立测试集上的性能。

在两个数据集上，融合了三种编码方式的混合编码 (hybrid encoding) 在所有五个评估指标（Sn, SP, ACC, MCC, AUC, Gmean）上都取得了最佳或接近最佳的性能。

融合多种特征编码方法能够为模型提供更全面的信息，从而提升预测性能。因此，作者在后续实验中均采用混合编码。

3.2 模型架构的消融实验

作者对 DGA-5mC 网络的四个核心组件（DenseNet, BGRU, Self-Attention, Ensemble）进行了消融实验，以确定最佳的组合。

在训练集（表5）和独立测试集（表6）上，包含了所有四个组件的完整模型在综合性能指标（如 MCC 和 AUC）上均表现最佳。

DenseNet、BGRU、自注意力和集成学习四个模块的组合是实现最优性能所必需的，它们各自在特征提取、上下文建模、特征加权和模型稳定性方面发挥了不可或替代的作用。

3.3 DGA-5mC 在训练数据集上的性能

在训练集上进行5折交叉验证的结果显示，各项评估指标的值都非常稳定，波动很小，有效避免了过拟合问题。

5折交叉验证的平均 AUC 值为0.9639，每一折的 AUC 值都大于0.96。模型在训练阶段表现出良好的性能和稳定性。

3.4 与现有预测器的比较

作者将 DGA-5mC 与三个现有的预测器（iPromoter-5mC, 5mC-Pred, BiLSTM-5mC）在同一训练集上进行了5折交叉验证比较。尽管 DGA-5mC 的 SP 和 ACC 略低于 BiLSTM-5mC，但其 Sn（90.44%）显著高于其他模型，MCC（0.6417）也是最高的。

在独立测试集上，DGA-5mC 在 Sn, MCC 和 AUC 三个关键指标上均取得了最佳性能。其 Sn（90.19%）比最新的 BiLSTM-5mC 高出3.58%。

在处理不平衡数据时，DGA-5mC 模型更侧重于准确识别少数类样本（即阳性样本），而不是像其他模型那样可能偏向于多数类。在综合性能上，DGA-5mC 优于所有现有的预测器。此外，与需要将不平衡数据手动处理成平衡数据并训练多个子模型的 BiLSTM-5mC 相比，DGA-5mC 能够直接处理不平衡数据，计算效率更高。

综上所述，DGA-5mC 通过其创新的深度学习架构和多特征融合策略，成功地构建了一个在识别启动子区域 5mC 位点方面性能卓越、鲁棒性强且计算高效的预测模型。