iDNA-EBT：基于多尺度二阶微调BERT的集成模型.

• paper：iDNA-EBT: An ensemble model based on multi-scale secondary fine-tuned BERT

0. TL; DR

iDNA-EBT是一个基于多尺度二次微调的 Promoter-BERT 集成模型，旨在提高甲基化位点预测性能，特别是针对小样本数据。

通过在17个基准数据集上进行的全面比较评估，iDNA-EBT 在多种预测指标上均展现出超越现有先进方法的卓越性能。

1. 背景介绍

DNA 甲基化在发育过程中扮演着至关重要的角色，它对转录、胚胎发育、基因组印记、基因组稳定性和染色质结构的正常调控都具有显著影响。此外，由环境因素和衰老引起的 DNA 甲基化模式变化与疾病的发生发展密切相关，尤其是癌症。

目前研究的三种主要 DNA 甲基化类型是 4-甲基胞嘧啶 (4mC)、5-羟甲基胞嘧啶 (5hmC) 和 N6-甲基腺嘌呤 (6mA)。准确地在全基因组范围内确定这些甲基化位点，对于理解相关生物学过程的机制和揭示疾病治疗的线索具有重要意义。

尽管存在多种测序方法来识别这些甲基化位点，但它们通常耗时且昂贵。因此，开发基于 DNA 序列的计算方法成为一种替代选择。近年来，随着自然语言处理和大型语言模型技术的发展，机器学习和深度学习方法开始被广泛应用于生物数据分析，包括 DNA 甲基化位点的预测。

现代大型语言模型（如 GPT 系列）的成功在很大程度上归功于其有效的预训练策略。通过在海量文本数据上进行自监督学习，模型能够学习到丰富的语言表示。然而，以往的生物信息学方法大多仅依赖于通用的 BERT 模型进行特征提取，没有利用为 DNA 序列等特定领域量身定制的领域特异性 BERT 模型。更重要的是，目前还没有专门为小样本数据集设计的解决方案。

为了解决这些问题，作者提出了一个名为 iDNA-EBT 的预测模型。

2. iDNA-EBT 方法

iDNA-EBT 的核心是一个基于领域特异性预训练、二次微调和集成学习的框架。其构建过程包括数据集准备、Promoter-BERT 的预训练、二次微调策略和最终的集成学习。

2.1 数据集

数据集包含 4mC、5hmC 和 6mA 三种甲基化类型，共17个数据集，覆盖12个物种。为了预训练 Promoter-BERT 模型，作者还从 UCSC 基因组浏览器数据库中获取了启动子序列，构建了一个启动子序列语料库。

2.2 Promoter-BERT 的预训练

考虑到甲基化修饰经常发生在启动子区域，作者没有使用通用的 BERT 模型，而是预训练了一个启动子特异性的 BERT 模型，称为 Promoter-BERT。

作者采用了三种不同的 k-mer（1-mer, 3-mer, 5-mer）来对 DNA 序列进行令牌化（tokenize）。例如，对于 3-mer，一个 DNA 序列被看作是由连续的三个核苷酸组成的单词构成的句子。

与标准的 BERT 一样，Promoter-BERT 在启动子序列语料库上进行了两个无监督的预训练任务：掩码语言模型和下一句预测。通过使用三种不同的令牌化器，作者分别预训练出了三个不同尺度的 Promoter-BERT 模型。

经过预训练的 Promoter-BERT 模型学习了启动子序列的基本特征，这有助于其在后续的微调阶段更快地收敛并获得更好的性能。

2.3 二次微调 (Secondary Fine-tuning)

由于不同甲基化类型的数据集大小差异很大，直接在小样本数据集上微调模型往往难以收敛，导致性能不佳。为此，作者设计了一个两阶段的微调流程：

1. 初次微调 (Initial Fine-tuning)：首先，对于每种甲基化类型（4mC, 5hmC, 6mA），作者选取其中数据量最大的数据集（分别是 4mC_F. vesca, 5hmC_M. musculus, 6mA_T. thermophile），在它们上面对预训练好的 Promoter-BERT 模型进行初次微调。这一步使模型的参数适应了特定的甲基化预测任务。
2. 二次微调 (Secondary Fine-tuning)：然后，对于那些数据量较小的其他数据集，作者不再从原始的 Promoter-BERT 开始微调，而是以上一步得到的、已经在同类型大数据集上微调过的模型作为起点，进行二次微调。

这种二次微调策略的优势是双重的：首先，它利用了大数据集上学到的任务相关知识，为小样本任务提供了一个更好的热启动，使得模型更容易收敛。其次，这种方法比从零开始微调更有效率。

2.4 集成学习 (Ensemble Learning)

为了进一步提高预测的稳定性和准确性，作者采用了集成学习策略。对于每个甲基化预测任务，作者都会得到三个基于不同令牌化尺度（1-mer, 3-mer, 5-mer）的、经过二次微调后的模型。

在预测时，将待测序列分别输入到这三个基础学习器中，得到三个独立的预测概率。最后使用软投票 (soft voting) 的方法，将这三个概率值进行平均，并以0.5为阈值，得到最终的预测标签。

3. 实验分析

作者通过一系列详尽的实验，评估了 iDNA-EBT 的性能，并与其他先进方法进行了比较。

3.1 基于 1-mer, 3-mer, 5-mer 令牌化的微调结果

作者首先展示了在17个数据集上，分别使用 1-mer, 3-mer 和 5-mer 令牌化的模型进行微调后的 AUC 值。

结果显示，所有模型的 AUC 值都超过了90%，表明基于 Promoter-BERT 的微调策略是有效的。在大多数任务中，基于 3-mer 的模型表现出最优的性能。

作者将三个不同尺度的模型通过软投票进行集成。结果显示，在所有数据集上，集成模型的 AUC 值均高于任何一个单一尺度的基础学习器。例如，在 4mC_Tolypocladium 数据集上，集成模型的 AUC 达到了0.8263，分别高于 1-mer (0.7994), 3-mer (0.8172) 和 5-mer (0.7905) 模型。这证明了集成学习策略能够有效结合不同尺度模型的优势，从而提升整体的预测性能。

3.2 iDNA-EBT 与其他先进方法的比较

作者将最终的 iDNA-EBT 模型与六种先进的预测器（iDNA-ABT, iDNA-MS, BERT6mA, Deep6mA, MM-6mAPred, iDNA-ABF）在17个独立测试集上进行了性能比较。

结果显示，iDNA-EBT 在所有17个数据集上的 AUC 值均一致地优于所有其他预测器。特别是在一些小样本数据集上，iDNA-EBT 的优势尤为显著。其 AUC 值的提升幅度在0.42%到20.23%之间。

3.3 消融实验

作者直接比较了一次微调和二次微调策略在四个小样本数据集上的性能。结果显示，二次微调策略显著提升了模型的预测准确性。例如，在仅有300个样本的 6mA_R.chinensis 数据集上，经过二次微调后，模型的 AUC 提升了9%，MCC 提升了22%。