iDNA-ITLM：识别DNA甲基化的可解释性迁移学习模型.

0. TL; DR

iDNA-ITLM 模型采用了一种数据增强策略：将短的 DNA 序列连续自我复制成更长的 DNA 序列，然后将其嵌入到一个高维矩阵中以扩大感受野，用于识别 DNA 甲基化位点。

在覆盖多个物种、包含三种 DNA 甲基化修饰（4mC, 5hmC, 6mA）的17个基准数据集上进行评估时，作者的模型始终优于当前最先进的、基于序列的 DNA 甲基化位点识别方法。模型不仅在 DNA 甲基化预测上表现出色，还能通过迁移学习应用于 RNA 甲基化序列的预测，并且无需修改超参数即可取得良好效果。

1. 背景介绍

DNA 甲基化在众多生物学过程中至关重要，并与癌症等多种疾病有关。准确识别 DNA 甲基化位点对于理解基因调控和疾病机制具有重要意义。近年来，深度学习方法在 DNA 甲基化位点识别中日益突出，并取得了令人鼓舞的结果。

目前，三种被广泛研究的 DNA 甲基化类型是 N4-甲基胞嘧啶 (4mC)、5-羟甲基胞嘧啶 (5hmC) 和 N6-甲基腺嘌呤 (6mA)。针对这些修饰类型，已有多种计算方法被开发出来。

然而，大多数现有方法只能区分单一类型的 DNA 甲基化，难以泛化到其他类型。尽管有一些方法（如 iDNA-MS, iDNA-ABT, iDNA-ABF）尝试解决这个问题，但它们仍然存在局限。

一个核心的挑战是，用于深度学习的 DNA 甲基化数据集，其每个样本的序列长度通常很短（最常见的是41 bp）。这使得模型难以从中提取足够丰富的语义信息。如何在有限的数据量内提取更全面的语义序列信息，并提高甲基化位点的分类准确率，是当前领域的一个突出挑战。

为了应对这一挑战，作者从图像处理的视角出发，提出了 iDNA-ITLM。该模型通过一种新颖的数据增强策略，将短序列扩展为高维矩阵（如同图像），并结合 BERT 等先进的深度学习技术，旨在学习更丰富的生物学上下文语义，并实现对多种甲基化类型和物种的通用、准确预测。

2. iDNA-ITLM方法

iDNA-ITLM 的整体框架如图所示，主要由五个模块组成：数据处理、嵌入、编码、特征提取和分类。

2.1 数据集

作者使用了最初由 iDNA-MS 提出的基准数据集。该数据集包含了17个不同的子数据集，覆盖了 4mC, 5hmC, 6mA 三种甲基化类型和多个物种。所有序列长度均为41 bp。

2.2 数据处理模块

该模块旨在通过数据增强来解决短序列信息不足的问题。首先，将 DNA 序列中的碱基（A, C, T, G）通过一个映射（字典）转换为相应的数值索引。然后，将一个长度为41的 token 序列进行 $n$ 次自我复制 (self-replicating)，拼接成一个更长的序列。

\[\text{Mul\_replicate}_i = \text{Sublist}(i)_1 + \text{Sublist}(i)_2 + \dots + \text{Sublist}(i)_n\]

这种做法的灵感来源于人类识别物体的过程：多次观察同一个物体可以加深记忆并学习到更多特征。

2.3 嵌入模块 (Embedding Module)

作者采用了自适应嵌入方法，将增强后的长序列嵌入到一个高维的二维矩阵中。其嵌入值由令牌嵌入 (token embedding) 和位置嵌入 (position embedding) 相加而成，并通过反向传播在训练中动态学习。

将短序列扩展为长序列，再嵌入到高维矩阵中，这种操作类似于将一张小图片放大成一张大图片。这极大地扩大了模型的感受野 (receptive field)，使得后续的 BERT 编码器能够从中学习到更丰富的特征。

2.4 基于 BERT 的编码过程

作者采用了一个在人类基因组上预训练过的 BERT 模型DNABERT。该模型包含3个 Transformer 层，每层有8个注意力头。

在预训练中，通过随机遮盖部分“单词”并让模型去预测它们，BERT 能够学习到双向的上下文信息。BERT 的核心是多头自注意力机制。它通过多个并行的自注意力头，从不同的角度捕捉序列中的依赖关系。一个自注意力头的计算公式为：

\[\text{Self-attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V\]

2.5 特征提取与分类模块

BERT 编码器的输出被送入一个包含四个层的全连接网络（两个线性层、一个 dropout 层和一个 ReLU 层）中，以提取最终的特征。

使用 Adam 优化器和交叉熵 (Cross-entropy) 损失函数进行模型训练和最终的二元分类。

3. 实验分析

作者对 iDNA-ITLM 的性能进行了全面的评估，包括数据增强策略的有效性、与现有方法的比较以及模型的泛化能力。

3.1 数据增强策略的有效性

作者对数据增强前后的嵌入矩阵进行了可视化。可以看到，经过增强和嵌入后，原始的一维短序列被转换成了一个信息更丰富的二维“图像”，这为模型学习特征提供了更好的基础。

作者比较了使用和不使用数据增强策略时，模型在三个代表性物种上的 ROC 曲线。在所有三个物种（4mC_F.vesca, 5hmC_H.sapiens, 6mA_H.sapiens）上，使用了数据增强策略的模型，其 ROC 曲线都显著优于未使用该策略的模型。例如，在 4mC_F.vesca 上，AUC 值从0.89提升到了0.92。数据增强策略能够显著提升模型的性能。

3.2 训练过程中的特征表示可视化

作者使用 UMAP 对训练过程中模型学习到的特征进行了可视化。在训练开始时（epoch 1），正负样本的特征表示是混合在一起的。随着训练的进行（epoch 100），正负样本被清晰地分离开来。这直观地展示了模型强大的特征学习和区分能力。

3.3 iDNA-ITLM 与现有优秀模型的比较

作者在17个基准数据集上，将 iDNA-ITLM 与四种优秀的预测器（iDNA-ABT, iDNA-ABF, iDNA-MS, MM-6mAPred）在五个评估指标（ACC, SN, SP, MCC, AUC）上进行了全面比较。

在绝大多数数据集上，iDNA-ITLM 的性能都优于所有其他方法。除了在极少数数据集上的个别指标外，iDNA-ITLM 同样表现出优越的性能。iDNA-ITLM 的性能全面超越了现有的先进方法，这主要归功于其创新的数据增强策略和高维嵌入方法。

3.4 跨物种验证

为了检验模型的泛化能力，作者进行了跨物种验证，即在一个物种上训练模型，然后在其他物种上进行测试。在人类和小鼠之间进行交叉测试，准确率均达到了97%以上，表现出色。在 6mA 和 4mC 的多物种交叉测试中，模型的性能同样保持稳定和优异。iDNA-ITLM 在不同物种间具有强大的泛化能力和稳健性。

3.5 模型在 RNA 序列上的迁移学习能力

作者尝试将在 DNA 甲基化数据上训练好的 iDNA-ITLM 模型，直接用于预测 RNA 甲基化（m6A）位点，并且没有修改任何超参数。

在11个不同组织和物种的 RNA 数据集上，模型取得了非常高的性能（例如，AUC 均高于0.92）。与专门为 RNA 设计的模型（如 m6A-BERT BiLSTM）相比，iDNA-ITLM 的性能毫不逊色，甚至更优。

iDNA-ITLM 表现出强大的迁移学习 (transfer learning) 能力，可以被视为一个跨 DNA 和 RNA 甲基化预测的通用预测器 (universal predictor)。

综上所述，iDNA-ITLM 通过其创新的数据增强和嵌入策略，构建了一个性能卓越、泛化能力强且可迁移的通用甲基化预测模型。