用于长程基因组预测的大规模联合序列-功能多物种建模基础模型.
0. TL; DR
NTv3 是一个多物种基因组基础模型，通过 U-Net 架构实现单碱基分词和高达 1Mb 上下文的建模。该模型在 9万亿 碱基对的 OpenGenome2 数据上进行掩码语言建模预训练，随后在 24 个物种的约 16,000 个功能轨道和基因组注释上进行多任务后训练。NTv3 在功能轨道预测和基因组注释任务上达到最先进性能，并通过掩码扩散语言建模实现可控的增强子序列设计，实验验证了生成序列具有预期的活性水平和启动子特异性。
1. 背景介绍
1.1 基因组预测的挑战
解码基因组需要将 DNA 序列与基因调控、细胞状态特异性表达程序以及遗传变异的表型后果联系起来，这是现代定量生物学的核心目标。深度学习通过学习直接从数据中获取预测性序列特征，已成为该领域进展的关键驱动力。
当前方法在三个互补方向上取得了实质性进展，但这些优势通常在孤立的模型类别、架构和训练机制中实现：
- 监督序列-功能模型（Borzoi, ChromBPNet, Enformer）：特定实验和生物体的高精度预测，需要监督训练，难以跨物种和模态泛化；
- 基因组基础模型（NTv2, HyenaDNA, Caduceus）：从大规模序列数据学习可迁移表示，输出为标记级概率或嵌入，缺乏任务特异性；
- 条件生成模型（Evo, Evo2）：基于功能目标的序列设计，与监督学习解耦，难以精确控制。
1.2 现有方法的碎片化问题
现有方法的核心碎片化体现在两个方面：
- 表示学习与功能预测的分离。自监督基础模型提供广泛的表示，但主要输出标记级概率或嵌入，不直接预测分子表型；而监督序列-功能模型在特定实验家族上表现强劲，但需要重新整理和重新训练才能跨物种或模态泛化。
- 表示学习与生成建模的分离。生成方法为从基因组理解到基因组工程提供了自然途径，但其目标和接口通常与监督序列-功能学习解耦，限制了单一模型在基因组理解和基因组工程中的统一作用。
NTv3 旨在开发一个单一、高效的框架，统一以下能力：长程上下文建模（支持高达 1Mb 的上下文）、碱基分辨率预测（单核苷酸级别的输出）、功能建模（整合序列与功能数据）、可控生成（支持条件化的序列设计）、跨物种泛化（涵盖动物和植物）。
2. NTv3 模型
NTv3 采用 U-Net 编码器-解码器架构，专为长序列建模设计，这是首次将该架构成功应用于大规模基因组基础模型的自监督预训练。
2.1 NTv3 模型的基本结构
NTv3包含六个主要组件：
⚪ 序列嵌入器（Sequence Embedder）
首先将 DNA 序列转换为连续嵌入，然后通过 stem 层处理：输入序列 → 嵌入查找表 → 1D卷积（核大小15，步长1）→ GELU激活。Stem 层将标记嵌入投影到更高维度，同时保留序列长度维度。
⚪ 序列编码器（Sequence Encoder）
编码器通过 7 个卷积块逐步下采样，将输入从 1bp 分辨率压缩到 128bp 分辨率：每个卷积块包含主卷积（核大小 5）+ Layer Normalization + GELU 激活、残差卷积（核大小 1）+ 跳跃连接、平均池化（窗口大小 2，步长 2）。
设第 $i$ 个阶段的特征图为 $x_i$，则：
\[x_{i+1} = \text{AvgPool}(\text{GELU}(\text{Conv}_{5}(x_i)) + \text{Conv}_{1}(\text{GELU}(\text{Conv}_{5}(x_i))))\]存储每个阶段的中间表示（分辨率分别为 1bp, 2bp, 4bp, …, 64bp）用于 U-Net 跳跃连接。
⚪ Transformer 塔（Transformer Tower）
在 128bp 分辨率上，Transformer 塔处理序列以建模长程交互：使用 RoPE（Rotary Positional Embeddings）位置编码，基础频率为 10,000；采用多头自注意力，查询和键向量分为两半；前馈网络采用 GLU（Gated Linear Unit）门控和 Swish 激活；预层归一化（Pre-Layer Normalization）。
注意力计算在块级别进行，序列被划分为大小为 $2^{\text{num_downsamples}}$ 的块。
⚪ 序列解码器（Sequence Decoder）
解码器镜像编码器结构，通过 7 个反卷积块逐步上采样：转置卷积（核大小 5）+ 层归一化 + GELU 激活；残差转置卷积（核大小 1）；U-Net 跳跃连接：将编码器对应阶段的残差与上采样特征相加
⚪ 输出头（Output Heads）
三个并行输出头在单核苷酸分辨率上操作：
- 语言模型头：预测每个位置的 DNA 标记概率分布，采用线性层 + GELU
- 功能轨道预测头：预测物种特异的功能轨道，采用LayerNorm + 线性层 + Softplus
- 基因组注释头：预测 21 个注释标签的二元分类，采用LayerNorm + 线性层
2.2 物种条件机制（Species Conditioning）
为实现多物种统一建模，NTv3 引入物种条件机制：
采用自适应层归一化（Adaptive Layer Normalization, AdaLN），物种嵌入 $s$ 通过线性投影产生平移（$\beta$）和缩放（$\gamma$）参数：
\[\text{AdaLN}(x, s) = (1 + \gamma(s)) \odot \text{LayerNorm}(x) + \beta(s)\]其中 $[\beta(s), \gamma(s)] = W_s$，$W \in \mathbb{R}^{2d_{\text{layer}} \times d_{\text{cond}}}$。
残差连接通过学习的缩放因子进行调制：
\[x_{\text{out}} = x + (1 + \alpha(s)) \odot f(x)\]其中 $\alpha(s) = W_s$，$W \in \mathbb{R}^{d_{\text{layer}} \times d_{\text{cond}}}$。
所有调制参数初始化为零，确保初始化时条件模型行为与预训练无条件模型相同。
2.3 预训练策略
NTv3采用两阶段长度课程。
- 阶段一：8kb 训练（10.5万亿标记）。序列长度：1kb, 2kb, 4kb, 8kb 混合，采样权重与每个区间的总标记数成比例，重点学习功能基因富集区域。
- 阶段二：长度扩展（7个阶段，每阶段约500亿标记），从16kb 开始，逐渐扩展到 1Mb。新引入长度权重为 40%，最短长度最小权重为 5%。设 $w_i^{(t)}$ 为阶段 $t$ 中数据源 $i$ 的权重，则：
并强制 $\min_i w_i^{(t+1)} \geq 0.05$，不足则重新归一化。
NTv3采用 BERT 风格的掩码策略：15% 的标记被选中用于潜在修改；其中 80% 替换为 [MASK] 标记，10% 替换为随机标记，10% 保持不变。
损失函数为预测概率与真实标记的交叉熵之和：
\[\mathcal{L}_{\text{MLM}} = -\sum_{i \in \mathcal{M}} \log P(x_i | x_{\setminus \mathcal{M}})\]其中 $\mathcal{M}$ 为掩码位置集合。
2.4 后训练策略
后训练数据涵盖 24 个物种：
| 数据类型 | 物种数 | 轨道/标签数 | 权重 |
|---|---|---|---|
| 人类功能轨道 | 1 | 7,362 | 45% |
| 其他动物功能轨道（小鼠、果蝇） | 2 | 2,630 | 10%（各 5%） |
| 植物功能轨道（拟南芥、水稻、玉米、小麦、大豆、棉花） | 6 | 5,897 | 30%（各 5%） |
| 仅注释物种 | 15 | 基因组注释 | 15%（各 1%） |
⚪ 功能轨道损失
功能轨道预测采用 Poisson-多项式 组合损失：
Poisson 损失（总覆盖度）：
\[\mathcal{L}_{\text{Poisson}}(x, y) = \sum_i x - \sum_i y \log \sum_i x_i\]多项式损失（分布形状）：
\[\mathcal{L}_{\text{multinomial}} = -\sum_i y_i \log p_i, \quad \text{where} \quad p_i = x_i / \sum_i x_i\]总损失为：
\[\mathcal{L}_{\text{tracks}} = \mathcal{L}_{\text{multinomial}} + 0.2 \times \mathcal{L}_{\text{Poisson}}\]⚪ 基因组注释损失
采用 Focal Loss 处理类别不平衡：
\[\mathcal{L}_{\text{focal}} = -\sum_i (1 - p_i)^\gamma \log p_i\]其中 $\gamma = 2.0$。
⚪ 总后训练损失
\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{tracks}} + \mathcal{L}_{\text{focal}} + \mathcal{L}_{\text{MLM}}\]持续的 MLM 损失确保语言模型头与共享表示空间保持同步。
2.5 序列生成：掩码扩散语言建模（Masked Diffusion Language Modeling）
2.5.1 前向扩散过程
设 $x, z \in {0,1}^{|V|}$ 为词汇表 $V$ 上的一热向量。MDLM 使用特殊 [MASK] 标记 $m$，前向过程为：
\[q(z_t | x) = \text{Cat}(z_t; \alpha_t x + (1 - \alpha_t) m)\]其中 $\alpha_t \in [0,1]$ 为噪声调度，单调递减，$\alpha(1) = 0$，$\alpha(t) \to 1$ 当 $t \to 0$。
2.5.2 真实后验分布
对于离散时间过程，设 $s < t$：
\[q(z_s | z_t, x) = \begin{cases} \text{Cat}(z_s; z_t) & \text{if } z_t \neq m \\ \text{Cat}(z_s; \frac{\alpha_s - \alpha_t}{1 - \alpha_t} x + \frac{1 - \alpha_s}{1 - \alpha_t} m) & \text{if } z_t = m \end{cases}\]2.5.3 反向去噪过程
学习去噪网络 $x_\theta$ 近似后验：
\[p_\theta(z_s | z_t) = \begin{cases} \text{Cat}(z_s; z_t) & \text{if } z_t \neq m \\ \text{Cat}(z_s; \frac{\alpha_s - \alpha_t}{1 - \alpha_t} x_\theta + \frac{1 - \alpha_s}{1 - \alpha_t} m) & \text{if } z_t = m \end{cases}\]2.5.4 训练目标
连续时间变分上界简化为：
\[\mathcal{L}(\theta) = \mathbb{E}_{x \sim q_{\text{data}}} \mathbb{E}_{z_t^{1:L} \sim q(\cdot|x^{1:L})} \sum_{\ell=1}^L \int_{t=0}^{t=1} \frac{-\alpha_t'}{1 - \alpha_t} \log \langle x_\theta^\ell(z_t^{1:L}), x^\ell \rangle \, dt\]这是加权平均的交叉熵 MLM 损失，掩码率可变。
2.5.5 分类器自由引导（Classifier-Free Guidance）
对于条件生成，采样自：
\[p^\gamma(z_s | z_t, y) \propto p(z_s | z_t, y)^\gamma \cdot p(z_s | z_t)^{1-\gamma}\]对于负条件（如启动子特异性生成）：
\[p^\gamma(z_s | z_t, y_{\text{target}}, \neg y_{\text{bg}}) \propto p_\theta(z_s | z_t, y_{\text{target}})^\gamma \cdot p_\theta(z_s | z_t, y_{\text{bg}})^{1-\gamma}\]3. 实验分析
3.1 预训练分析
- 不同序列长度上的性能（Figure D）: NTv3 在预训练不同阶段结束时，各序列长度上的掩码标记准确率。模型在 8kb 训练后对所有短序列（≤8kb）保持强重建准确率；长度扩展阶段，较长序列的准确率逐渐提升；1Mb 序列在最终阶段达到约 0.515 的准确率，表明模型成功学习了极长程依赖。
- Figure E（训练 FLOPs 与序列长度）：NTv3 系列模型（8M, 100M, 650M）的训练 FLOPs 随序列长度线性增长；下采样层数 $N$ 越大（压缩率越高），相同长度下的 FLOPs 越低；650M 模型在 1Mb 长度时约需 $10^{11}$ FLOPs 每步。
- Figure F-G（预训练损失曲线）：所有模型规模（8M, 100M, 650M）都表现出平滑的缩放行为；按 FLOPs（2F）或标记数（2G）绘制，损失稳定下降；较大模型在相同 FLOPs 下达到更低损失，但在相同标记数下优势更明显。
- Figure H（单 GPU 推理时间）：NTv3 在 1Mb 上下文时推理时间约 200ms，而 Evo2 7B 需超过 3000ms；NTv3 650M 比参数少 60× 的 Caduceus 10M 更快；层次化建模实现了数量级的效率提升。
3.2 功能预测
- 多物种功能轨道预测（Figure D）： 9 个物种的测试集 Pearson 相关分布。NTv3 在亲缘关系较远的植物物种上表现强劲，证明多物种联合训练学习到了共享的调控语法。
- 基因组注释性能：
- Figure E（雷达图，SegmentNT vs NTv3）：长上下文带来一致提升）
- Figure H（人类注释详细比较）：NTv3 在需要精确边界定位和整合调控上下文的标签上优势最明显。
- Figure I（剪接位点跨物种比较）：SpliceAI 在人类表现良好（MCC ~0.9），但在其他物种下降明显；NTv3 在所有 24 个物种上保持 MCC ~0.8-0.9，展示强大的跨物种泛化。
- Figure G（功能轨道长度鲁棒性）：Borzoi 在 <524kb 时性能急剧下降（低于训练长度）；NTv3 在 8kb-1Mb 范围内保持稳定性能（~0.58-0.6），从 8kb 到 1Mb，NTv3 性能略有提升，表明混合长度训练的有效性。
- Figure F（与 Borzoi 的碱基分辨率比较，524kb 输入）：NTv3 在碱基分辨率设置下优势更明显，因其原生支持单核苷酸输出；在 Borzoi 的 32bp 分箱设置下，两者性能接近，但 NTv3 仍略优。
- Figure H（与 SegmentNT 和 Augustus 的比较）：Augustus（传统 ab initio 基因预测器）依赖剪接位点信号和统计模型，在标准基因结构上表现良好，但对调控元素和可变剪接敏感；SegmentNT（监督分割模型）基于 30kb 上下文的专门化架构，需要物种匹配的 RNA-seq 和同源蛋白证据；NTv3 无需手工设计特征或外部证据，能够实现单模型跨 24 物种统一预测，长上下文（1Mb）带来额外增益。
3.3 NTv3Benchmark 评估
NTv3Benchmark 包含 106 个任务，采用32kb 输入 / 1bp 输出标准化设置，包括功能轨道预测（回归，Pearson 相关）和基因组注释预测（分类，MCC）。
- Figure B（人类和鸡功能轨道）：8M 参数的 NTv3 超越 500M 参数的 NTv2 和 1B 参数的 Evo2；后训练带来 0.05-0.1 的 PCC 提升；未见物种（鸡）上同样有效，证明学习的是可迁移的调控语法。
- Figure C（植物功能轨道）：NTv3 8M（8M 参数）与 PlantCAD2 88M（88M 参数，植物专门化）表现相当，NTv3 的效率优势显著。
- Figure D（人类和牛注释）：
- Figure E（番茄注释，未见物种）：趋势与功能轨道一致；NTv3 650M (post) 达到 ~0.7 MCC，显著优于基线。
- Figure F（预训练 vs 后训练散点图）：每个点代表一个任务（颜色编码实验类型），几乎所有点位于对角线上方，后训练一致优于预训练；增益最大的类别：RNA 结合位点、染色质可及性、基因表达。
- Figure G-H（效率分析）：x 轴训练时间（GPU 小时）或训练标记数（十亿），y 轴人类任务平均 PCC。NTv3 系列占据帕累托前沿：相同训练成本下准确率最高，相同准确率下成本最低；Evo2 1B 和 HyenaDNA 7M 效率明显较低。
3.4 农业基因组学任务
- Figure A（基因水平表达预测）： 4 个植物物种的基因表达预测 R²（跨组织平均）。NTv3 8M（8M 参数）在 6kb 上超越 AgroNT 1B（1B 参数），效率提升 125×；扩展上下文（32kb-262kb）带来显著增益，AgroNT 因架构限制无法利用；后训练在大多数设置下提供额外 0.05-0.1 R² 提升
- Figure B（玉米蛋白质丰度 R²）：蛋白质丰度预测比基因表达更具挑战性，但 NTv3 同样展现出扩展上下文的优势，262kb 时达到最高 R²。
3.5 模型解释性分析
- Figure B（HBE1 位点分析）：输入 131kb 窗口，以 HBE1 基因座为中心，预测注释与 GENCODE 转录本、ENCODE cCREs 高度一致。K562 细胞特异性预测 DNase-seq、GATA1 ChIP-seq、CAGE 信号在 HS1-HS5 增强子处峰值，归因图识别 GATA 和 AP-1 基序，注意力图显示启动子与增强子的非对角线交互（红圈标记）。
- Figure C-D（增强子充分性实验）：同时打乱 HS1-HS5，逐个恢复每个增强子，预测 CAGE 信号的对数倍变化（log2FC）。与实验测量的增强子活性等级（Spearman $\rho$ = 0.900, $p$ = 0.037）高度相关，证明 NTv3 从序列准确捕获了增强子层次结构。
- Figure F（GTEx eQTL 归因差异）：致病性变异 vs 良性变异的归因距离分布，致病性变异的归因差异显著更大（Wilcoxon $p$ < 0.001），证明 NTv3 内部表示可靠地注册了功能性顺式调控扰动。
- Figure G（基序消融TMEM252, rs3733729：T→A 替换破坏了 TEF 转录因子结合位点，归因图显示该位置正向贡献消失。
- Figure H（基序创建KLC1, rs35762454）：G→A 替换创建了 ELK1 结合位点，归因图在新位置出现正向峰。
- Figure I（基序协同ABO, rs8176719）：C→T 替换导致分布式调控重布线，影响 SPDEF 和 NFIC 位点的归因。
- Figure J（APOL4 剪接变异 rs9610445）：该变异导致预测 RNA-seq 信号降低约 16 倍，归因图显示剪接供体基序显著减弱；注释轨道移除剪接供体标签，重新定位外显子边界；注意力图在 32kb 远处注册最强变化，与次级剪接供体和 IRF4 位点一致。
3.6 可控序列生成
作者在果蝇 S2 细胞的 STARR-seq 数据上微调 NTv3：两个启动子背景：DSCP（发育型）和 RpS12（持家型）；增强子长度249bp，总序列长度：4kb（包含质粒背景）。
微调目标是活性提示生成：五个活性分箱（0-4），和启动子特异性生成：高活性于目标启动子，低活性于背景启动子。
- Figure D （RpS12 启动子，in silico 评估）：DeepSTARR 预测的活动分布与目标分箱对齐，生成分布与天然增强子在同一分箱的分布匹配，生成分布还扩展到更广的活性范围（包括比天然更强的增强子）。
- Figure E（in cellulo STARR-seq 验证）：600 个生成序列的实验测量，五个活性分箱清晰分层；中位数活性：最低分箱 ~-1.5，最高分箱 ~+3.5；与天然增强子相比，生成分布在高分箱有更广的尾部。
- Figure F（in silico 特异性分析）：x 轴DSCP 上下文中的预测活性，y 轴RpS12 上下文中的预测活性；生成序列形成两个明显分支：右上双启动子活跃（非特异性），右下（RpS12 目标）RpS12 高活性，DSCP 低活性，左上（DSCP 目标）DSCP 高活性，RpS12 低活性。
- Figure G（in cellulo 特异性验证）：特异性度量目标启动子活性 / 背景启动子活性的倍数变化。DeepSTARR 筛选的随机序列：DSCP 特异性 ~1.2×，RpS12 特异性 ~2.6×；NTv3 生成序列：DSCP 特异性 ~2.1×（+75%），RpS12 特异性 ~4.4×（+69%）。
