BERT-5mC: 基于BERT预测DNA 5甲基胞嘧啶位点的可解释模型.

• paper：BERT-5mC: an interpretable model for predicting 5-methylcytosine sites of DNA based on BERT

0. TL; DR

BERT-5mC 将BERT应用于生物序列分析。首先使用人类启动子序列作为语言语料库预训练一个领域特异性的 BERT 模型。在 5mC 训练数据集上对这个BERT 模型进行微调，以构建最终的预测模型。

交叉验证结果显示，作者的模型取得了0.966的 AUROC，优于其他先进方法。在独立的测试集上，其 AUROC 同样达到了0.966。通过分析 BERT 生成的注意力权重，作者识别出了一系列与 5mC 修饰密切相关的核苷酸分布，为模型的预测提供了可解释性，并揭示了潜在的生物学机制。

1. 背景介绍

DNA 5-甲基胞嘧啶 (5mC) 是真核生物中研究最广泛的表观遗传修饰之一，它在基因表达、基因组维持、亲本印记和转录调控等多种发育和生理过程中发挥作用。5mC 最常出现在 CpG 双核苷酸环境中，其功能失调与许多疾病有关。例如，启动子区域的异常甲基化与自身免疫性疾病（如系统性红斑狼疮）和多种癌症的发生发展密切相关。

因此，准确识别全基因组启动子区域的 5mC 位点，对于理解 DNA 甲基化在人类疾病中的机制至关重要，并为疾病的诊断和治疗提供重要线索。

目前，识别 5mC 位点的实验方法（如亚硫酸氢盐测序 (bisulfite sequencing, BS-seq)）虽然能够达到单碱基分辨率，但其时间和经济成本往往令人望而却步。因此，探索高效的计算方法来检测 5mC 位点势在必行。

近年来，已有一系列计算方法被开发出来用于预测 DNA 5mC 位点。

• 传统机器学习方法：如 Methylator 和 iDNA-Methyl，它们使用 SVM 和手工设计的特征（如伪核苷酸组成）进行预测。
• 深度学习方法：如 iPromoter-5mC (基于 DNN), BiLSTM-5mC (基于 BiLSTM), DGA-5mC (基于 DenseNet 和 GRU)，这些方法在性能上有所提升。
• 基于语言模型的方法：近期的研究开始将 NLP 领域的先进模型（如 BERT）迁移到生物序列分析中。例如，iDNA-ABF 和 MuLan-Methyl 都使用了基于 BERT 或 Transformer 的模型，并取得了不错的效果。

尽管 BERT 已被用于预测 DNA 甲基化位点，但直接使用通用的生物序列 BERT 模型可能不是最优选择。作者认为，通过在与任务相关的特定领域 (domain-specific) 语料库上进行预训练，可以进一步提升模型的性能。

为此，作者提出了 BERT-5mC。该方法首先在大量的人类启动子序列上预训练一个启动子特异性 (promoter-specific) 的 BERT 模型，然后在此基础上进行微调，以实现对 5mC 位点的更精准预测。

2. BERT-5mC方法

BERT-5mC 的整体分析流程如图所示，主要包括三个步骤：构建基准数据集、预训练启动子-BERT (Promoter-BERT) 模型，以及微调模型并进行预测。

2.1 基准数据集

作者使用了由 Zhang, Xiao & Xu (2020) 构建的、全面且非冗余的数据集。该数据集基于小细胞癌（SCLC）的启动子 5mC 位置信息构建。

原始的启动子序列经过分割和 CD-HIT (80%) 去冗余处理后，最终得到了一个包含69,750个阳性样本和823,576个阴性样本的数据集。将数据集按80:20的比例随机划分为训练集和独立测试集。

2.2 预训练启动子-BERT模型

BERT (Bidirectional Encoder Representations from Transformers) 是一个基于 Transformer 的深度双向语言表示模型，它通过其核心组件多头自注意力 (multi-head self-attention) 机制，能够并行地捕捉句子中单词之间的长程依赖关系。

考虑到 DNA 序列与自然语言在结构上的相似性，作者将 NLP 模型迁移到生物序列分析中。但与直接使用通用模型不同，作者采取了领域特异性预训练 (domain-specific pre-training) 的策略。

从 UCSC 数据库下载了超过180万条人类启动子序列，作为预训练的语料库。将每条 DNA 序列分割成一系列重叠的 k-mer 作为“单词”。通过实验比较（图2），作者发现当 $k=3$ 时效果最佳。

基于 BERT-base 架构（包含12个编码器层），在构建的启动子语料库上进行预训练。最终得到了三个分别基于 1-mer, 3-mer, 5-mer 的预训练启动子-BERT模型。

2.3 特征编码与学习算法

作者采用了两种策略来利用预训练的 BERT 模型进行下游任务的预测：

1. 基于特征的方法 (Feature-based)：将 BERT 模型作为一个固定的特征提取器。将 DNA 序列输入到预训练（或微调后）的 BERT 模型中，并提取最后一个编码器层中特殊令牌 [CLS] 对应的768维嵌入向量，作为整个序列的特征表示。作者还测试了结合核苷酸性质和频率 (NPF) 特征的情况。使用 XGBoost, RF, FFNN, BiLSTM 等多种分类器对提取出的特征进行训练。
2. 微调方法 (Fine-tuning)：将整个预训练的 BERT 模型与一个额外的分类层进行端到端的联合训练。在微调过程中，BERT 模型的所有参数都会根据下游任务的数据进行微调。

3. 实验分析

作者对提出的 BERT-5mC 模型进行了详尽的实验分析。

3.1 词大小的选择

作者首先比较了使用不同 k-mer 大小（k=1, 3, 5）预训练的 BERT 模型，在经过微调后的性能。在5折交叉验证中，当 $k=3$ 时，模型在 AUROC, AUPRC, MCC, ACC 等多个关键指标上都取得了最佳性能。例如，其 AUROC 达到了0.966，优于 $k=1$ (0.959) 和 $k=5$ (0.964)。在独立测试集上的结果也显示，基于 3-mer 的模型同样优于其他两个模型。3-mer 是用于 5mC 位点识别任务的最优“词”大小。

3.2 基于 BERT 嵌入特征的模型

作者接着探究了“基于特征”的方法的性能。作者从预训练的启动子-BERT和微调后的启动子-BERT中分别提取 [CLS] 嵌入特征，并结合 NPF 特征，使用四种不同的分类器进行训练。

对于从预训练模型中提取的特征，额外加入 NPF 特征能够显著提升性能（例如，对于 XGBoost，AUROC 从0.819提升到0.955）。这表明预训练模型学习到的序列信息可以被 NPF 特征所补充。

对于从微调模型中提取的特征，其本身已经非常强大，额外加入 NPF 特征不再能提升性能。这表明微调过程已经使 BERT 学习到了足够丰富的、与任务相关的信息。

3.3 微调模型 vs. 基于嵌入特征的模型

作者比较了两种策略下的最优模型：端到端微调的 BERT 模型，和使用微调后 BERT 提取的嵌入特征训练的 FFNN 模型。结果显示，端到端微调的 BERT 模型在 AUROC, AUPRC, MCC, ACC 等四个指标上都略优于基于嵌入特征的模型。

端到端微调是更优的策略。因此，作者将端到端微调的启动子-BERT模型选为最终模型，并命名为 BERT-5mC。

3.4 与其他先进模型的比较

作者将 BERT-5mC 与四种最近开发的先进模型（BiLSTM-5mC, 5mC_Pred, iPromoter-5mC, DGA-5mC）在训练集（5折交叉验证）和独立测试集上进行了比较。

BERT-5mC 的性能优于所有其他先进的 5mC 位点预测模型。作者认为，这主要得益于（1）预训练的 BERT 模型能更好地表示 DNA 序列的上下文信息；（2）使用了领域特异性的语料库进行预训练，进一步提升了模型的表征能力。

3.5 BERT 嵌入特征与注意力权重的分析

作者使用 t-SNE 对从预训练和微调模型中提取的嵌入特征进行了可视化。预训练模型的嵌入特征虽然能大致区分正负样本，但边界模糊。微调模型的嵌入特征则清晰地将正负样本分成了两个独立的簇。

首先，通过 Two Sample Logo 分析发现，在阳性和阴性样本之间，核苷酸分布在第19、21、22位点存在显著差异。然后，作者分析了微调后模型在不同位置的平均注意力权重 (attention weights)。结果发现，正负样本之间注意力权重的显著差异也出现在第19、20、21、22位点。

这表明 BERT-5mC 模型通过其注意力机制，成功地学习到了对 5mC 预测至关重要的核苷酸偏好性位点，从而提取出关键信息。

3.6 与 DNABERT 的比较

作者还将自己的启动子-BERT与另一个通用的 DNA 语言模型 DNABERT 进行了比较。

结果显示，无论是在交叉验证还是独立测试中，基于启动子-BERT的微调模型在 AUROC, AUPRC, MCC 等指标上都优于基于 DNABERT 的模型。这再次证明了领域特异性预训练的有效性。

综上所述，BERT-5mC 通过其创新的领域特异性预训练和微调策略，成功地构建了一个性能卓越且具有一定可解释性的 5mC 位点预测模型。