DeepMethylation: 基于GloVe和Transformer编码器的DNA甲基化预测深度学习框架.
0. TL; DR
DeepMethylation 模型使用词嵌入 (word embedding) 和 GloVe 对 DNA 序列进行编码。之后利用空洞卷积 (dilated convolution) 和 Transformer 编码器来提取特征。最通过全连接和 softmax 算子来预测甲基化位点。
在 5mC 数据集上，该模型的准确率达到了97.8%，显著优于 iPromoter-5mC, 5mC-Pred 和 BiLSTM-5mC 等现有先进方法。模型不仅在 5mC 预测上表现出色，还在 m1A 数据集上取得了95.8%的准确率，证明了其良好的泛化能力。
1. 背景介绍
表观遗传学研究在不改变 DNA 核苷酸序列的情况下，基因表达调控的可遗传变化。其中，DNA 甲基化是一种关键的表观遗传机制。目前，N6-甲基腺嘌呤 (6mA)、N4-甲基胞嘧啶 (4mC) 和 5-甲基胞嘧啶 (5mC) 是三种研究最广泛的 DNA 甲基化类型。
异常的 DNA 甲基化可能对生物体产生负面影响。它不仅会影响基因表达水平，甚至导致基因沉默，还与基因突变的风险呈正相关。此外，癌症的发生发展、胚胎发育和成人疾病（如自闭症）等都与 DNA 甲基化密切相关。因此，对甲基化的检测具有极其重要的意义。
目前，甲基化的检测方法主要分为三类：
- 湿实验 (Wet experiments)：如全基因组亚硫酸氢盐测序 (WGBS) 和 DNA 甲基化芯片。这些方法虽然准确性高，但成本高昂、耗时，且需要专业的生物学知识。
- 传统机器学习方法：通常包括数据处理、特征提取和分类三个步骤。这类方法依赖于研究人员手动设计的特征（如碱基频率、GC含量等）和分类算法。其性能受限于手动选择的特征和分类器。
- 深度学习方法：与传统机器学习不同，深度学习能够自动从原始序列数据中学习最相关的特征，并构建端到端的模型。尽管现有的深度学习方法（如 DeepCpG）为 DNA 甲基化预测提供了新的思路，但它们仍然面临挑战：CNN 对一维序列数据不敏感，而 RNN 在处理长距离依赖关系方面存在不足。此外，现有的 DNA 编码方法（如 one-hot）主要强调局部信息，忽略了全局关系。
为了解决这些问题，作者提出了 DeepMethylation，一个基于深度学习的新型方案，旨在更有效地预测 DNA 甲基化位点。
2. DeepMethylation方法
作者提出的 DeepMethylation 框架包含三个核心模块：数据处理模块、特征提取模块和分类模块。
2.1 数据处理模块：结合词嵌入和 GloVe
传统的 one-hot 编码无法提供序列顺序信息或衡量相关“单词”之间的距离。为了更好地建模 DNA 序列中的关系，作者采用了基于词嵌入 (word embedding) 和 GloVe 的新颖编码方法。
首先，将长度为41 bp的 DNA 序列片段通过一个3 bp的滑动窗口，分割成一系列的 3-mer 子序列（“单词”）。一个41 bp的序列会产生39个 3-mer。
GloVe 模型的核心是利用全局统计信息。它通过遍历整个语料库（所有 DNA 序列），构建一个共现矩阵 (co-occurrence matrix) $X$。矩阵中的元素 $X_{i,j}$ 表示单词 $j$ 出现在单词 $i$ 上下文中的频率。
GloVe 通过优化一个能量函数 $J$ 来学习词向量。该函数旨在使两个词向量的点积尽可能地等于它们在共现矩阵中出现频率的对数。
\[J = \sum_{i,j=1}^{N} f(X_{i,j}) \left( V_i^T \tilde{V}_j + b_i + \tilde{b}_j - \log(X_{i,j}) \right)^2\]其中，$V_i$ 和 \(\tilde{V}_j\) 分别是目标词和上下文词的词向量，$b_i$ 和 \(\tilde{b}_j\) 是偏置项。$f(X_{i,j})$ 是一个权重函数，用于降低高频词的权重，其定义为：
\[f(X_{i,j}) = \begin{cases} \left( \frac{X_{i,j}}{T_X} \right)^\alpha & \text{if } X_{i,j} < T_X \\ 1 & \text{otherwise} \end{cases}\]通过优化，为每个 3-mer “单词”学习到一个长度为300的词向量。因此，一个41 bp的 DNA 序列（包含39个 3-mer）最终被表示为一个 $39 \times 300$ 的编码向量矩阵。
2.2 特征提取模块：结合空洞卷积和 Transformer Encoder
在获得词向量矩阵后，模型使用一个结合了空洞卷积 (dilated convolution) 和 Transformer 编码器的模块来提取局部和全局特征。
空洞卷积通过在卷积核的值之间插入零来扩大其感受野 (receptive field)，而无需增加参数数量。这使得模型能够捕捉更大范围的上下文信息。作者使用了三个并行的分支，其空洞率 (dilation rates) 分别为1、2和3，用于捕捉不同尺度的上下文信息。然后将这三个分支的输出进行拼接。
在空洞卷积之后，使用一个 Transformer 编码器来提取拼接后特征中的全局关系和长程依赖。由于 Transformer 本身不处理序列顺序，作者引入了位置编码来为模型提供 DNA 片段的位置信息。多头自注意力通过计算输入序列中不同位置之间的相对重要性，来为后续的前馈网络提供更好的输入特征表示。它将输入特征映射到多个子空间，并行计算注意力，然后将结果拼接起来，从而增强了模型的决策能力。
2.3 分类模块
特征提取模块的输出最终被送入一个分类器来预测甲基化位点。分类器包含三个全连接层，其维度分别为128、64和32。
最后，一个 Sigmoid 激活函数输出最终的预测结果（是 5mC 位点或非 5mC 位点）。使用分类交叉熵损失来训练网络。
3. 实验分析
作者在一系列实验中对 DeepMethylation 的性能进行了评估，并与现有的先进方法进行了比较。
3.1 数据集
作者使用了 CCLE 数据集，该数据集包含来自小细胞肺癌 (SCLC) 的 5mC 修饰位点数据。数据集包含69,750个阳性样本和823,576个阴性样本，负样本与正样本的比例约为13.3:1。
3.2 与 SOTA 方法的性能比较
作者将 DeepMethylation 与三种先进的甲基化预测方法（iPromoter-5mC, 5mC-Pred, BiLSTM-5mC）在五个评估指标（Sen, Spe, Acc, Mcc, Auc）上进行了比较。
结果显示，DeepMethylation 在 Spe, Acc, Mcc 和 Auc 四个指标上均表现最佳。其准确率 (Acc) 达到了0.978，比次优的 BiLSTM-5mC 高出约5%。尽管 DeepMethylation 的敏感性 (Sen) 略低于 iPromoter-5mC 和 5mC-Pred，但作者解释这是因为模型在不确定时倾向于做出更可靠的负向预测，这虽然降低了 Sen，但却提高了 Mcc 指标。
3.3 编码方法的影响
作者比较了 GloVe 编码和传统的 one-hot 编码对模型性能的影响。结果显示，尽管两种方法都取得了令人满意的结果，但 GloVe 编码在 Sen 和 Mcc 两个指标上显著优于 one-hot 编码。作者认为，这是因为 GloVe 编码能够更好地表示 DNA 子序列之间的关系，而 one-hot 编码只提供了简单的碱基映射。
3.4 特征提取方法的影响
作者比较了 Transformer 编码器与 LSTM 和 GRU 这两种常用的序列特征提取方法的性能。结果显示，Transformer 编码器在 Sen, Mcc 和 Auc 三个指标上均优于 LSTM 和 GRU。
作者分析，这是因为 LSTM 和 GRU 等循环神经网络在处理长序列时会遇到信息传递变弱的问题，而 Transformer 的多头自注意力机制能够直接建模输入信号之间的关系，无需依赖上下文，因此更擅长处理长序列数据。
3.5 子序列长度和 GloVe 特征长度的影响
作者测试了不同 k-mer 长度（$k=3, 5, 7$）对性能的影响。结果显示，模型对 $k$ 的变化不敏感，性能稳定。
作者比较了不同 GloVe 特征长度对性能的影响。结果显示，随着长度的增加，性能指标也随之提升。但考虑到计算负担，作者最终选择了一个在性能和复杂性之间取得平衡的长度：300。
3.6 数据集不平衡的影响
作者测试了不同正负样本比例（1:10, 1:12, 1:15）对模型性能的影响。在所有比例的数据集上，模型都能快速收敛。模型对数据不平衡表现出良好的稳定性和鲁棒性。与广泛接受的1:12比例相比，1:15数据集上的准确率下降不到0.05。
3.7 在 m1A 数据上的泛化能力
为了测试模型的泛化能力，作者将其应用于一个 m1A 数据集。结果显示，模型在12个周期后即收敛，准确率达到了95.8%。这证明了 DeepMethylation 模型具有良好的泛化性能，有潜力应用于不同类型的 DNA 数据。
