Genome Foundation Model part II: Pretraining Strategies.

基因组基础模型（Genome Foundation Model, gFM），又称基因组语言模型（Genomic Language Model, gLM），将 DNA 序列映射为长度为 $T$ 的离散词元序列 $z_{1:T}$，通过在大规模无标注基因组语料上拟合边缘概率或条件概率分布 $p_\theta(z)$，学习具备跨任务迁移能力的通用基因组表征。

本文是基因组基础模型系列的第二篇。全系列按“分词 → 预训练 → 编码器 → 解码器 → 多模态”的脉络组织：

基因组序列包含大量结构化但缺乏显式注释的演化与调控信息，预训练策略（Pretraining Strategy）决定了模型以何种归纳偏置与自监督目标提取这些信息。

1. 掩码语言建模（MLM）

掩码语言建模（Masked Language Modeling, MLM）通过随机遮蔽输入序列中的部分词元，训练模型利用双向上下文恢复原始词元。设离散词元序列为 $z_{1:T}$，掩码索引集合为 \(\mathcal M \subset \{1,\dots,T\}\)，受损序列为 $\widetilde z$，其标准优化目标为掩码位置条件交叉熵的期望：

\[\mathcal L_{\mathrm{MLM}}=-\mathbb E_{\mathcal M}\sum_{i\in\mathcal M}\log p_\theta(z_i\mid\widetilde z).\]

在基因组建模中，该范式主要面临两项挑战：

  1. 信息泄漏：在重叠 $k$-mer 分词下，单一位置的掩码容易被邻近词元平凡恢复，通常需引入连续跨度掩码（Span Masking）；
  2. 分布偏移：标准 BERT 策略仅对 $15\%$ 的位置计算梯度（$80\%$ 替换为 [MASK]、$10\%$ 随机替换、$10\%$ 保持不变），且预训练引入的 [MASK] 符号在下游微调阶段并不存在。

掩码语言建模通常与编码器架构配合使用，主要用于提取序列的上下文表征。

⚪ ARSENAL：cCRE 定向短上下文预训练与重复区掩码过滤

ARSENAL 放弃了全基因组与超长上下文的预训练范式，将单碱基掩码语言建模聚焦于高功能密度的 ENCODE 候选顺式调控元件（cCREs）及 $350\text{ bp}$ 短窗口，并结合重复区损失过滤，用于转录因子基序（Motif）语法恢复、变异效应评分与序列生成。

cCREs 定向语料与单碱基编码器： 鉴于非编码调控元件在全基因组背景序列中高度稀疏，模型仅在约 $230$ 万个人类高置信度 cCREs（涵盖启动子、增强子及 CTCF 结合位点）上进行预训练。输入窗口固定为单个 cCRE 的最大尺度 $350\text{ bp}$，训练时施加反向互补增强与随机平移抖动。单核苷酸词表定义为 \(\{\mathrm{A, T, G, C, N, MASK}\}\)，其中未知碱基 N 的嵌入固定为零向量。主干网络采用双向 RoPE Transformer 编码器，语言建模头仅输出四个标准核苷酸（$\mathrm{A/C/G/T}$）的概率分布。

软掩码重复区损失屏蔽： 预训练采用标准 BERT 掩码策略抽取 $15\%$ 的位置集合 $\mathcal{M}$。为防止模型被高可预测性的低复杂度重复序列主导，损失计算显式剔除了所有 N 位点，以及参考基因组中小写字母标注的长度不少于 $30\text{ bp}$ 的连续软掩码重复区集合 $\mathcal{R}_{\ge 30}$：

\[\mathcal{L}_{\mathrm{MLM}} = -\sum_{i \in \mathcal{M} \setminus (\mathcal{R}_{\ge 30} \cup \{\mathrm{N}\})} \log p_\theta(x_i \mid \tilde{x}).\]

⚪ USM-AA：对齐感知编码与反向互补掩码语言建模

USM-AA 将参考基因组的比对特征与物理坐标解耦，通过对齐嵌入模块与对齐感知旋转位置编码，使模型支持染色体绝对坐标感知以及非连续、稀疏变异位点的长程交互建模。

动态分词与对齐嵌入模块（AEM）： 输入序列预先通过 Minimap2 比对到人类参考基因组（hg38），并采用动态 6-mer 方案分词。每个词元绑定一个对齐四元组 $a_i = (\ell_i, c_i, s_i, g_i)$，分别代表参考基因组坐标 $\ell_i$、染色体编号 $c_i$、链方向 \(s_i \in \{0, 1\}\) 以及 SAM 规范的 CIGAR 操作类型 $g_i$（标识匹配、SNV、INDEL 及软剪切）。词元初始表征通过可学习嵌入叠加生成（物理坐标 $\ell_i$ 不参与相加）：

\[x_i^{(0)} = \mathrm{Emb}_{\mathrm{tok}}(t_i) + \mathrm{Emb}_{\mathrm{chr}}(c_i) + \mathrm{Emb}_{\mathrm{str}}(s_i) + \mathrm{Emb}_{\mathrm{cig}}(g_i).\]

对齐感知旋转位置编码（AARoPE）： 传统 RoPE 依赖词元在输入列表中的相对顺序，在拼接稀疏位点时无法反映真实的基因组间距。AARoPE 将旋转相位直接绑定至参考基因组坐标 $\ell_i$。对于第 $k$ 个二维注意力子空间，旋转基底放大至全染色体跨度（$\theta=5\times 10^6$）：

\[\phi_{i,k} = \omega_k \ell_i, \quad \omega_k = \theta^{-\frac{2k}{d_h}}, \quad \phi_{i,k} - \phi_{j,k} = \omega_k (\ell_i - \ell_j).\]

起止边界词元锚定在染色体两端，使注意力相对相位差直接正比于真实物理跨度，主干 Transformer 无需填充符即可维持稀疏位点间的空间距离依赖。

反向互补掩码语言建模（RC-MLM）： 针对 DNA 双链对称性，对于掩码位置集合 $M$，正链输入（$s=0$）计算常规 MLM 交叉熵，负链输入（$s=1$）则要求恢复该位置反向互补后的对应词元 $y^{\mathrm{RC}}$：

\[\mathcal{L}_{\mathrm{RC-MLM}} = - \frac{1}{|M|} \sum_{i\in M} \log P(y_i^{\mathrm{RC}} \mid t_{\mathrm{masked}}, s = 1).\]

⚪ JanusDNA：排除自身的全位置双向条件预测

JanusDNA 提出兼顾自回归全序列样本效率与双向上下文感知的预训练范式，通过独立的前后向 Mamba-MoE 编码支路与受掩码约束的 FlexAttention 融合层，在单核苷酸分辨率下实现全位置双向条件预测。

双流独立编码与 Mamba-MoE 主干： 模型采用单核苷酸分词。输入序列 $X=(x_1,\dots,x_T)$ 由两条参数独立的单向编码器并行处理，分别自左向右、自右向左提取单侧上下文表征：

\[\begin{aligned} &H_t^F = \mathrm{ForwardEncoder}(x_1, \dots, x_t), \\ &H_t^B = \mathrm{BackwardEncoder}(x_T, \dots, x_t). \end{aligned}\]

在融合前，前后向隐状态严格隔离。每条单向支路交替堆叠 Mamba 块与稀疏混合专家（MoE）前馈层，以线性复杂度捕获长程依赖。

FlexAttention 防泄漏融合与全位置双向损失： 为在不引入 [MASK] 词元的情况下聚合双向上下文，模型将前后向隐状态沿序列维拼接为长度为 $2T$ 的张量 $[H_1^F, \dots, H_T^F, H_1^B, \dots, H_T^B]$ 送入 FlexAttention 层。以 \(q_{\mathrm{idx}}, kv_{\mathrm{idx}} \in \{0, \dots, 2T-1\}\) 记查询与键值的 0-索引坐标，二值掩码 $M_{ij}$ 限制信息流向如下：

\[M_{ij} = \begin{cases} q_{\mathrm{idx}} \ge kv_{\mathrm{idx}}, & \text{if } kv_{\mathrm{idx}} < T \text{ and } q_{\mathrm{idx}} < T, \\ q_{\mathrm{idx}} \le kv_{\mathrm{idx}}, & \text{if } kv_{\mathrm{idx}} \ge T \text{ and } q_{\mathrm{idx}} \ge T, \\ kv_{\mathrm{idx}} \ge T + q_{\mathrm{idx}} + 2, & \text{if } kv_{\mathrm{idx}} \ge T \text{ and } q_{\mathrm{idx}} < T, \\ q_{\mathrm{idx}} \ge kv_{\mathrm{idx}} + T + 2, & \text{if } kv_{\mathrm{idx}} < T \text{ and } q_{\mathrm{idx}} \ge T. \end{cases}\]

前两项维持单向支路内部因果性，后两项控制跨支路坐标偏移：预测位置 $t$ 时，仅允许读取前向历史状态 $H_k^F$（$k<t$）与后向未来状态 $H_j^B$（$j>t$），阻断目标碱基 $x_t$ 经跨向注意力回流。指向同一位置的前后向输出相加后，在全部 $T$ 个位置上密集计算双向条件交叉熵，并联合优化 MoE 负载均衡损失 $\mathcal{L}_{\mathrm{aux}}$：

\[\mathcal{L}_{\mathrm{total}} = -\sum_{t=1}^{T} \log P_\theta(x_t \mid x_{<t}, x_{>t}) + \alpha N \sum_{i=1}^{N} f_i P_i.\]

2. 因果语言建模（CLM）

因果语言建模（Causal Language Modeling, CLM）基于概率链式法则，将序列的联合概率分布分解为自左向右的条件概率乘积，通过下一词元预测（Next-Token Prediction, NTP）进行极大似然估计：

\[\begin{aligned} &p_\theta(z_{1:T})=\prod_{t=1}^{T}p_\theta(z_t\mid z_{<t}),\\ &\mathcal L_{\mathrm{CLM}}=-\sum_{t=1}^{T}\log p_\theta(z_t\mid z_{<t}). \end{aligned}\]

与 MLM 相比，CLM 具备三项优势：

  1. 序列中的全部 $T$ 个词元均参与损失计算，样本效率高且无预训练与微调阶段的 [MASK] 失配问题；
  2. 链式法则定义了严格归一化的序列联合概率分布 $p_\theta(z_{1:T})$，可直接用于全序列适应度或复杂插入缺失变异的零样本似然评估；
  3. 天然支持从头（de novo）生成调控元件、人工基因组或基于前缀提示的序列补全。

CLM 的主要局限在于单向因果掩码限制了位置 $t$ 对下游序列 $z_{>t}$ 的感知，而真实的基因组调控（如增强子—启动子交互）通常是无向的。

⚪ DNAGPT2：BPE 词表尺度消融与算术编码无损压缩探测

DNAGPT2 基于无损数据压缩与自回归概率建模的等价性，训练了十种不同 BPE 词表尺度的因果 GPT-2 模型并结合算术编码，将每碱基比特数（bpb）作为生成式基因组模型的无监督评估指标，进而构建全基因组单核苷酸信息量图谱。

多尺度 BPE 词表消融： 研究在多物种基因组语料上训练了十个 SentencePiece BPE 分词器（词表大小 $V$ 从 $16$ 倍增至 $8{,}192$），采用相同的 GPT-2 架构与训练预算完成下一词元预测训练。若仅考虑分词本身的定长编码开销，其压缩率在 $V=128$ 处最优；但在接入语言模型与算术编码的端到端压缩中，全局最优词表左移至 $V=32$。该词表主要由高频短核苷酸片段及均聚物构成，避免了大词表中低频长基序在固定训练预算下因梯度稀疏而导致的欠拟合。

算术编码与单核苷酸信息量（IC）： 离线压缩管线将预训练模型作为固定条件概率源，对每个目标词元 $x_t$ 将预测分布 $p_\theta(x_t\mid x_{<t})$ 转化为量化累积分布函数，交由算术编码器输出长度逼近交叉熵理论下界的比特流。为定位基因组局部区域的预测不确定性，将长度为 $\ell_t$（碱基数）的词元 $x_t$ 的局部信息量定义为每碱基负对数似然：

\[\mathrm{IC}_t = \frac{-\log_2 p_\theta(x_t \mid x_{<t})}{\ell_t} \quad (\text{bits per base}).\]

在无需任何监督标签的情况下，全基因组局部信息量轨道能够在统计上显著区分不同的基因组功能注释区。

⚪ Nucleotide GPT：重复元件损失重加权与稀疏自编码器表征探测

Nucleotide GPT 基于单核苷酸分辨率的 LLaMA 式因果解码器，结合重复元件（RE）损失降权消融、逐层线性探针与稀疏自编码器（SAE）可解释性分析，剖析了因果预训练表征的层级组织规律与重复序列偏好。

单核苷酸因果主干与重复元件损失重加权： 模型采用单核苷酸分词，在多头因果注意力与前馈层的残差支路前后均施加 RMSNorm。针对占哺乳动物基因组 $30\%\sim 60\%$ 的高可预测性重复元件易垄断模型参数容量的问题，预训练根据 RepeatMasker 注释为位置 $i$ 引入词元级损失权重 $w_i$（非重复区置 $1.0$，重复区测试 \(w_i \in \{0.0, 0.1, 0.5, 1.0\}\)），优化加权因果语言建模损失：

\[\mathcal{L} = -\sum_{i=1}^{n} w_i \cdot y_i \log(\hat{y}_i).\]

由于不同调控区具有特异的重复元件富集或缺失指纹，完全剔除重复区（$w_i=0.0$）会丢失背景判别信号，而采取适度降权（$w_i=0.5$）在下游任务中取得最优泛化表现。

信息瓶颈动力学与 SAE 转座子特征解耦： 逐层线性探针表明，预训练模型的探针准确率在浅层迅速攀升并在深层进入高相关平台期，显著优于各层平坦冗余的随机初始化模型。为拆解中间层叠加的稠密隐状态 $x$，研究在残差流激活上训练带 $L_1$ 稀疏惩罚的两层稀疏自编码器：

\[z = \mathrm{ReLU}(x W_{\mathrm{expand}}), \quad \hat{x} = z W_{\mathrm{contract}}, \quad \mathcal{L}_{\mathrm{SAE}} = \mathrm{MSE}(x, \hat{x}) + \lambda \lVert z \rVert_1.\]

与 Dfam 重复序列库比对证实，即便施加了 $w_i=0.5$ 降权，仍有大量 SAE 潜在特征自发特化为识别特定转座元件亚家族（如 Alu 及 LINE-1 的不同功能子区）。

3. 替换词元检测（RTD）

替换词元检测（Replaced Token Detection, RTD）基于 ELECTRA 框架，将掩码词元重建转化为全序列位置的二元真伪判别，同时兼顾双向上下文感知与全序列位置的样本效率。

该架构由轻量级生成器 $G$ 与主干判别器 $D$ 协同训练：对于输入序列 $z_{1:T}$ 及掩码位置集合 $\mathcal M$，生成器首先执行 MLM 预测并按输出分布采样候选词元 $\hat z_i \sim p_G(z_i \mid \widetilde z)$（$i \in \mathcal M$），将其填回掩码位置构造无 [MASK] 符号的扰动序列 $z^{\mathrm{corrupt}}$；判别器随后在全部 $T$ 个位置上评估词元是否与原始序列一致，即判断 $y_t = \mathbf{1}(z_t^{\mathrm{corrupt}} = z_t)$：

\[\mathcal L_{\mathrm{RTD}} = - \lambda \sum_{t=1}^{T} \Big( y_t \log D(z^{\mathrm{corrupt}}, t) + (1 - y_t) \log \big(1 - D(z^{\mathrm{corrupt}}, t)\big) \Big).\]

若生成器在某掩码位置恰好采样出真实碱基，该位置标签 $y_t$ 仍置为 $1$。生成器提供的困难负样本迫使判别器学习精细的局部语法与远端共变特征。预训练完成后通常舍弃生成器，仅保留判别器用于下游任务。

⚪ NucEL：单碱基混合注意力与密集替换检测

NucEL 将替换词元检测引入基因组预训练，结合单核苷酸分词与局部—全局交替注意力机制，在保留逐碱基分辨率的同时将监督信号扩展至全序列位置。

单核苷酸分词与混合注意力双网架构： 模型在人类参考基因组切分片段上采用单核苷酸分词。整体架构由非对称的轻量级生成器 $G$ 与主干判别器 $D$ 组成。为降低单核苷酸分词带来的序列长度开销，两个网络均采用 ModernBERT 式的局部—全局混合注意力：普通层采用局部滑动窗口注意力以捕获邻近调控基序，每隔 $3$ 层插入一次全局自注意力以建模跨窗口的长程顺式调控依赖。

全位置替换词元检测： 设输入单碱基序列为 \(X = \{x_1, \dots, x_N\}\)，掩码索引子集为 \(M \subset \{1, \dots, N\}\)。生成器读取掩码序列 $X_{\mathrm{masked}}$ 并在 $M$ 上执行 MLM 恢复；随后将生成器的预测词元填回掩码位置，构造扰动序列 \(X' = \{x'_1, \dots, x'_N\}\)。判别器在全部 $N$ 个碱基位置上计算二元交叉熵，判别当前词元是否与原始碱基一致（\(y_i = \mathbf{1}\{x'_i = x_i\}\)）：

\[\begin{aligned} &\mathcal{L}_{\mathrm{g}} = -\frac{1}{|M|} \sum_{i \in M} \log P_G(x_i \mid X_{\mathrm{masked}}), \\ &\mathcal{L}_{\mathrm{d}} = -\frac{1}{N} \sum_{i=1}^{N} \Big[ y_i \log P_D(y_i = 1 \mid X') + (1 - y_i) \log \big(1 - P_D(y_i = 1 \mid X')\big) \Big], \\ &\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{g}} + \lambda \cdot \mathcal{L}_{\mathrm{d}}. \end{aligned}\]

该策略消除了预训练与微调之间的 [MASK] 分布偏移。下游任务丢弃生成器，仅微调判别器。

⚪ MoDNA：基序分布与出现标签增强的替换词元检测

MoDNA 将转录因子结合基序（Motif）先验注入生成器—判别器框架，令生成器同时恢复掩码 6-mer 并拟合基序的位置权重矩阵（PWM）分布，判别器同时执行替换词元检测与基序出现位点识别。

重叠 6-mer 跨度掩码与替换判别： 模型采用步长为 $1$ 的重叠 6-mer 分词，生成器 $G$ 与判别器 $D$ 共享输入嵌入层。为适配重叠分词的上下文结构，模型随机选择掩码中心 $c$ 并连续遮蔽相邻的 $6$ 个重叠位置。对原始序列 $x=[x_1,\dots,x_n]$，将 $c$ 替换为 [MASK] 得到受损输入 $r$。生成器在 $c$ 上计算交叉熵损失 $\mathcal{L}_G$，并按预测分布采样替换词元 $\hat{x}_i \sim p_G(\hat{x}\mid r)$ 填回掩码位，构造重组序列 $x^R$：

\[\begin{aligned} &\mathcal{L}_G = -\sum_{i \in c} \log p_G(x_i \mid r), \\& \mathcal{L}_D = -\sum_{t=1}^{n} \Big[ y_t \log D(x_t^R, x^R) + (1 - y_t) \log \big(1 - D(x_t^R, x^R)\big) \Big], \end{aligned}\]

其中 \(y_t = \mathbf{1}\{x_t^R = x_t\}\)，判别器在全部 $n$ 个位置上评估词元真实性。

PWM 分布对齐与基序出现识别： 模型利用 MEME Suite 扫描预训练序列，结合 HOCOMOCO 数据库生成参考 PWM 分布 $m=[m_1,\dots,m_n]$ 与二元出现标签 \(\hat{m}_i \in \{0,1\}\)。生成器利用末层隐状态 $h_G(x_i)$ 经线性映射 $W^T$ 预测掩码位置的基序分布，并以 KL 散度对齐参考 PWM；判别器则基于末层隐状态 $h_D(x_i)$ 在全序列范围预测基序是否出现：

\[\begin{aligned} &\mathcal{L}_{G_{\mathrm{motif}}} = \sum_{x_i \in c} m_i \log \frac{m_i}{W^T h_G(x_i)}, \\ &\mathcal{L}_{D_{\mathrm{motif}}} = -\sum_{i=1}^{n} \Big[ \hat{m}_i \log \mathrm{sigmoid}\big(h_D(x_i)\big) + (1 - \hat{m}_i) \log \big(1 - \mathrm{sigmoid}(h_D(x_i))\big) \Big], \\ &\mathcal{L}_{\mathrm{total}} = \lambda \mathcal{L}_G + \alpha \mathcal{L}_D + \beta \big(\mathcal{L}_{G_{\mathrm{motif}}} + \mathcal{L}_{D_{\mathrm{motif}}}\big). \end{aligned}\]

4. 生物学先验引导（Biological Priors）

直接套用自然语言处理的通用自监督目标往往忽略了基因组序列的固有属性。高等真核生物基因组中包含大量转座子、微卫星等低复杂度重复序列，真正具备调控或编码功能的区域高度稀疏。

基于生物学先验的预训练策略将分子生物学特征（如碱基组成转移规律、跨物种进化保守性速率）转化为显式的辅助损失或正则化项，引导模型聚焦于高功能价值的序列模式。

⚪ CARMANIA：经验转移矩阵 KL 约束的因果预测

CARMANIA 在采用滑动窗口注意力的单碱基 LLaMA 因果解码器中，引入马尔可夫正则化，将相邻位置预测分布的外积与全序列经验二核苷酸（Bigram）转移矩阵做 KL 对齐，使局部感受野同时受逐位因果预测与长程全局组成规律的联合监督。

单碱基滑窗主干与一阶转移矩阵构造： 模型词表仅包含四个标准单核苷酸，主干采用每层配备因果滑动窗口注意力的 LLaMA 解码器。令 $P_t^{(b)} \in \mathbb{R}^V$ 表示模型在批次样本 \(b \in \{1,\dots,B\}\)、序列位置 \(t \in \{1,\dots,L\}\) 输出的下一词元条件概率向量。为避免高阶多联体因统计稀疏引发梯度噪声，模型聚焦于一阶马尔可夫转移（二核苷酸矩阵）：在整条输入序列上分别累积相邻时间步预测概率的外积与真实序列的二核苷酸经验计数 $\mathrm{count}(i \to j) = \sum_{b,t} \mathbf{1}{x_t^{(b)}=i, x_{t+1}^{(b)}=j}$，按前驱碱基逐行归一化后，得到经验条件转移分布 $p_{ij}$ 与模型预测转移分布 $q_{ij}$：

\[p_{ij} = \frac{\mathrm{count}(i \to j)}{\sum_{x \in \mathcal{V}} \mathrm{count}(i \to x)}, \quad q_{ij} = \frac{\sum_{b=1}^{B}\sum_{t=1}^{L-1} P_t^{(b)}(i) P_{t+1}^{(b)}(j)}{\sum_{x \in \mathcal{V}} \sum_{b=1}^{B}\sum_{t=1}^{L-1} P_t^{(b)}(i) P_{t+1}^{(b)}(x)}.\]

转移矩阵 KL 与 NTP 联合优化： 预训练同时最小化下一词元预测的负对数似然与全序列转移矩阵的 KL 散度：

\[\mathcal{L} = -\sum_{b=1}^{B}\sum_{t=1}^{L} \log P_\theta\big(x_t^{(b)} \mid x_{<t}^{(b)}\big) + \beta \sum_{i,j \in \mathcal{V}} p_{ij} \log \frac{p_{ij}}{q_{ij}}.\]

由于经验分布 $p_{ij}$ 直接提取自整条长输入序列（最长达 $160\text{ kbp}$），该正则项在不增加注意力窗口大小的前提下，迫使局部滑窗注意力维持跨全序列的组成与转移一致性。

⚪ Gamba：以进化速率预测为预训练目标

纯序列重建（NTP 或 MLM）容易受大段非功能背景序列干扰，难以捕捉生物功能约束。Gamba 将比较基因组学中的 PhyloP 分数（源自 Zoonomia 哺乳动物全基因组比对的单碱基进化速率，正值代表保守位点、负值代表加速进化位点）直接作为预训练监督信号，使模型在测试时仅需输入单条 DNA 序列即可学习跨物种进化约束。

双模式进化速率预测： 论文提出了两种与序列重建严格对齐的预测任务：

  1. CEP（Current Evolution Prediction）：在单向自回归设定下，用位置 $i$ 及其上游序列 $x_{1:i}$ 预测位置 $i$ 的 PhyloP 分数，与 NTP 对齐；
  2. MEM（Masked Evolution Modeling）：在双向设定下，随机遮蔽 $15\%$ 的碱基，用双向上下文重建序列所有位置的 PhyloP 分数，与 MLM 对齐。

模型顶部包含序列与进化速率两个线性头。进化头将位置 $i$ 的隐状态映射为高斯分布的均值 $\mu_i$ 与对数方差 $\log\sigma_i^2$，采用高斯负对数似然（GNLL）损失训练：

\[\mathcal L_{\mathrm{GNLL}}=\frac1N\sum_{i=1}^N\left[\frac12\log\max(\sigma_i^2,\epsilon)+\frac{(y_i-\mu_i)^2}{2\max(\sigma_i^2,\epsilon)}\right]+\text{const},\]

其中 $y_i$ 为真实 PhyloP 分数，$\epsilon$ 为方差截断阈值。序列头则输出 4 种碱基的概率并计算交叉熵损失 $\mathcal L_{\mathrm{CE}}$，两项损失联合优化。

架构实例化与零样本评估： 模型在剔除重复区的人类参考基因组上预训练，实例化为基于 Jamba 的因果混合架构（ArGamba）与基于 Caduceus 的双向等变架构（Bi-Gamba）。在下游零样本变异效应预测（VEP）中，模型可在正反双链上分别计算等位基因对数似然比（来自序列头）或变异位点预测进化速率（来自进化头）进行排序。

5. 进化同源建模（Evolutionary Homology）

单条基因组序列仅反映了演化历史在特定物种中的单一静态切片。仅依赖物种内（Intra-species）序列上下文的语言模型，往往难以区分近期中性突变与受负选择（Purifying Selection）约束的功能位点。

进化同源建模通过显式引入跨物种多序列比对或分类学条件，将预训练目标从单序列边缘分布扩展为以同源上下文 $\mathcal R(z)$ 为条件的联合建模：

\[\mathcal L_{\mathrm{Evo-MLM}} = -\sum_{i\in\mathcal M}\log p_\theta\big(z_i \mid \widetilde z, \mathcal R(z)\big).\]

⚪ SpeciesLM：物种分类学标识符条件化的调控序列建模

SpeciesLM 在跨物种非编码调控区的掩码语言建模中注入物种专用分类学词元，使单一双向 Transformer 能够在无需多序列比对（MSA）的条件下，解耦保守基序语法与物种特异的演化背景偏好。

调控区定向语料与物种条件化跨度掩码： 为避免预训练被基因间区低复杂度序列主导，模型仅截取蛋白质编码基因侧翼的调控区。输入序列采用步长为 $1$ 的重叠 6-mer 分词，并在序列起始处拼接代表目标物种分类学归属的专用控制符 $s \in \mathcal{S}$，使模型在同一参数空间内区分不同谱系的 GC 含量与背景碱基组成。预训练随机选择 $15\%$ 的起始位点并连续遮蔽 $6$ 个相邻 6-mer（对应遮蔽 $11\text{ bp}$ 跨度），在给定物种词元 $s$ 与双向上下文 $\tilde{z}$ 的条件下最大化原词元的对数似然：

\[\mathcal{L}_{\mathrm{Species\text{-}MLM}} = -\sum_{i \in \mathcal{M}} \log P_\theta(z_i \mid \tilde{z}, s).\]

背景校准逐碱基重建： 在零样本功能位点探测中，模型对覆盖目标碱基 $x_k$ 的连续 $6$ 个重叠 6-mer 同步替换为 [MASK]，按对应偏移位边缘化得到单碱基预测概率 $p_\theta(x_k\mid x_{\setminus k}, s)$，并以该序列内同类核苷酸的平均预测概率 $\bar{p}_{\mathrm{nuc}}$ 进行背景归一化：

\[p_{\mathrm{norm}}(x_k) = \frac{p_\theta(x_k \mid x_{\setminus k}, s)}{\bar{p}_{\mathrm{nuc}}}.\]

⚪ GPN-MSA：基于多物种全基因组比对矩阵的进化掩码建模

GPN-MSA 将脊椎动物全基因组多序列比对（MSA）转化为固定列宽的多通道特征序列，结合近缘物种剔除、高保守窗口采样与保守性加权掩码语言建模，实现覆盖编码区与非编码区的全基因组单核苷酸变异致病性零样本预测。

比对块拼接、近缘过滤与列编码架构： 模型基于 Multiz 100-way 脊椎动物全基因组比对构建输入，剔除人类序列为空位的比对列；为避免模型在掩码重建时直接复制近缘物种的相同序列，显式移除与人类演化距离最近的 $10$ 种灵长类动物，保留人类与其余 $89$ 个物种。训练集主要选取 $128\text{ bp}$ 窗口中 phastCons 保守度最高的前 $5\%$ 区域并混入少量随机窗口。在每个基因组位置 \(i \in \{1,\dots,128\}\)，模型将人类（掩码后）与其余 $89$ 个物种的核苷酸 one-hot 编码沿特征维直接拼接为单一列向量，送入 RoFormer 编码器以混合跨列（序列上下文）与跨行（物种演化共变）信息。

加权掩码损失与零样本变异预测： 预训练仅对人类序列执行 $15\%$ 随机掩码，辅助物种对应列保持可见；同时对重复区降低损失权重，并根据局部 phyloP / phastCons 分数对保守区调高权重。零样本变异效应预测时，遮蔽待测位点 $i$ 的人类碱基，计算替代等位基因（$\mathrm{ALT}$）与参考等位基因（$\mathrm{REF}$）的条件对数似然比：

\[\mathrm{LLR}_i = \log \frac{P_\theta(x_i=\mathrm{ALT}\mid \mathrm{MSA}_{\setminus i})}{P_\theta(x_i=\mathrm{REF}\mid \mathrm{MSA}_{\setminus i})}.\]

⚪ GPN-Star：进化系统矩阵约束的系统发育感知学习

针对单序列模型或固定通道比对模型难以显式利用物种系统发育拓扑的问题，GPN-Star 在编码器架构中联合引入多物种全基因组比对与物种系统发育树，通过支系级注意力池化与进化距离偏置交叉注意力学习全基因组功能约束。

支系级注意力池化与系统发育感知交叉注意力： 模型输入包含涵盖 $N_S$ 个物种的全基因组比对窗口 $(N_S, L)$ 及其物种进化树，将其划分为掩码后的目标序列 $(N_T, L)$ 与源序列 $(N_S, L)$。模型首先依据进化树距离将亲缘关系相近的源物种聚类为 $N_C$ 个进化支系，通过注意力池化压缩为支系级源表征 $(N_C, L, H)$，并提取支系与目标物种间的进化距离矩阵 $(N_C, N_T)$。主干的每个编码块依次通过物种内自注意力（捕获单条目标序列上下文）与系统发育感知交叉注意力（以目标序列为查询 $Q’$、支系源表征为键值 $K’, V’$，并利用进化距离矩阵自适应调节不同支系权重）融合序列上下文与共进化信号。

突变率校准的变异效应评估（cLLR）： 预训练通过加权交叉熵损失 $-\mathcal{w}\log\mathbb{P}(\text{REF})$ 重建目标序列中的掩码参考碱基。推理阶段为解耦自然序列中混杂的局部突变偏好与自然选择信号，模型利用全基因组高置信度中性位点估计背景突变效应，对原始对数似然比 $\log\frac{\mathbb{P}(\text{ALT})}{\mathbb{P}(\text{REF})}$ 进行归一化校准，输出校准对数似然比（$\text{cLLR}$）以度量位点所受的纯化选择强度。

⚪ PhyloGPN：系统发育连续时间马尔可夫链似然

针对比对依赖型模型在推理阶段受限于多序列比对输入的问题，PhyloGPN 在反向互补等变扩张卷积架构下，将多物种全基因组比对与系统发育树仅整合于预训练损失函数中，通过根据单一人类参考序列上下文直接预测中心位点的核苷酸演化替换参数，实现推理阶段仅需单序列输入的零样本变异评分。

反向互补等变无填充卷积与 F81 演化参数化： 模型以目标位点 $i$ 为中心的单核苷酸窗口 $x^{(i)}$（$481\text{ bp}$）作为唯一输入，主干采用移除边界填充的反向互补等变（RCE）残差扩张卷积，使感受野最终收敛于中心单一位点，输出该位点在连续时间马尔可夫链 F81 替换模型下的对数替换率参数 $\theta = (\theta_{\mathrm{A}}, \theta_{\mathrm{C}}, \theta_{\mathrm{G}}, \theta_{\mathrm{T}}) \in \mathbb{R}^4$（平稳分布为 $\pi_a = \mathrm{softmax}(\theta)_a$）。在进化枝长 $t$ 内至少发生一次替换的概率 $\alpha(t)$ 与状态 $b \to a$ 的转移概率分别为：

\[\alpha(t) = 1 - \exp\!\left(-t \sum_{a \in \{\mathrm{A}, \mathrm{C}, \mathrm{G}, \mathrm{T}\}} e^{\theta_a}\right), \quad P_{\mathrm{F81}}(a \mid \theta, b, t) = \begin{cases} \alpha(t)(\pi_a - 1) + 1, & \text{if } a = b, \\ \alpha(t)\pi_a, & \text{otherwise}. \end{cases}\]

系统发育树剪枝似然与单序列推理： 预训练阶段，每个样本关联多物种比对在位点 $i$ 处的同源碱基列 $y^{(i)}$ 及对应的系统发育树 $T^{(i)}$。模型利用 Felsenstein 剪枝算法边缘化内部祖先节点，计算观测碱基列的似然 $P_{\mathrm{F81}}(y^{(i)} \mid f_W(x^{(i)}), T^{(i)})$；同时为防止模型直接拷贝输入窗口的中心碱基并避免双重指数溢出，损失函数对中心参考碱基的平稳概率 $\pi^{(i)}(f_W)$ 进行条件化扣除（并采用 $\mathrm{sigmoid}$ 下界稳定优化）：

\[\mathcal{L}(W; \mathcal{D}) = -\frac{1}{n}\sum_{i=1}^n \log P_{\mathrm{F81}}\!\left(y^{(i)} \;\middle|\; f_W(x^{(i)}), T^{(i)}\right) + \frac{1}{n}\sum_{i=1}^n \log \pi^{(i)}(f_W).\]

推理阶段完全脱离多物种比对与进化树，直接将平稳分布 $\pi_a = \mathrm{softmax}(f_W(x^{(i)}))_a$ 作为位点 $i$ 处各等位基因的边际似然以计算对数似然比（LLR）；扩展变体 PhyloGPN-X 则可进一步通过固定随机正态矩阵线性聚合邻近位点嵌入以扩大下游任务的感受野。

⚪ RAGenome：去空位的系统发育检索与长上下文比对建模

RAGenome 针对全基因组比对（WGA）中高达 $73\%$ 的空位符（Gap）冗余，通过剔除空位并保留原始比对列号作为 RoPE 位置坐标，在系统发育树约束的词元预算内检索同源序列，结合种内局部注意力与种间交叉注意力，将显式进化建模的上下文窗口扩展至 $13{,}312\text{ nt}$。

去空位原列号 RoPE 与系统发育预算检索： 模型以人类基因组作为查询序列（$k=0$），从脊椎动物 WGA 中剔除近缘物种后检索其余 $N=89$ 个物种的对齐片段。为消除空位开销，模型丢弃所有 $-$ 词元，并将每个保留核苷酸在原始比对矩阵中的列索引直接作为 RoPE 的位置输入，从而在去空位后无损维持跨物种同源对齐（同时叠加 NCBI 分类学层级嵌入）。为控制显存，训练时随机打乱演化支顺序，采用轮询方式从各演化支抽取物种，直至去空位后的同源词元总数达到固定预算上限 $B$。

种内局部与种间交叉注意力混合主干： 主干 Transformer 由种内局部注意力层与种间交叉注意力层交替组成。设物种 $k$ 去空位后的隐表征为 $h^k$，种内局部注意力令各物种独立在局部窗口 $W(i)$ 内执行滑动窗口自注意力；种间交叉注意力则仅以人类查询位置 $i$ 生成查询向量 $q_i^0$，向预算 $B$ 内所有检索物种拼接而成的键值矩阵 $K^{1:N}, V^{1:N}$ 发起单向检索：

\[\begin{aligned} &\mathrm{LocalAttn}(h^k)_i = \mathrm{softmax}\!\left(\frac{q_i^k (K_{W(i)}^k)^\top}{\sqrt{d}}\right) V_{W(i)}^k, \\ &\mathrm{CrossAttn}(h^0, h^{1:N})_i = \mathrm{softmax}\!\left(\frac{q_i^0 (K^{1:N})^\top}{\sqrt{d}}\right) V^{1:N}. \end{aligned}\]

演化支同步掩码与课程学习： 预训练在人类查询序列中随机选取 $15\%$ 的非空位位置集合 $\mathcal{M}$ 进行短跨度遮蔽，并对同一演化支内的检索物种同步遮蔽相同的比对列以防直接拷贝。设遮蔽后的查询序列为 $\tilde{x}^0$，受预算裁剪的同源检索集合为 $\tilde{\mathcal{R}}_B$，模型通过从短高保守区域向全长窗口过渡的四阶段课程，最小化查询掩码位置的条件交叉熵：

\[\mathcal{L}_{\mathrm{MLM}} = -\sum_{i \in \mathcal{M}} \log p_\theta(x_i^0 \mid \tilde{x}^0, \tilde{\mathcal{R}}_B).\]

⚪ CENO：多阶段上下文课程与打包多序列比对后训练的基因组世界模型

CENO 将 Mamba-2、自注意力与稀疏混合专家（MoE）交织于单核苷酸因果自回归主干中，通过四阶段百万词元上下文扩展预训练、打包多序列比对（MSA）演化后训练以及预言机引导的群组相对策略优化（GRPO），统一支持反事实变异评估与可控调控元件设计。

Mamba-Attention-MoE 主干与 RegMix 四阶段课程： 模型采用字节级单核苷酸分词（预留非碱基字节槽位供控制符使用），交织堆叠 Mamba-2、注意力层与 Top-$2$ 路由的 MoE 层。在 OpenGenome2 语料上，预训练通过约束 RegMix 回归代理搜索最优数据源配比，并分四阶段推进：阶段 I/II 在 $8\text{k}$ 窗口下从原核与真核均衡配比逐步向真核转录本、剪接与调控序列倾斜（软掩码重复区赋予 $0.1$ 损失权重）；阶段 III/IV 引入完整真核基因组长窗口，将上下文依次扩展至 $131\text{k}$ 与 $1\text{M}$ 词元。

行局部–跨行融合的 MSA 演化后训练（CENO-P）： 为融入跨物种同源保守性约束，模型将目标序列 $y$ 与多物种同源比对行 $C$ 拼接打包为单一因果序列并赋予显式行标识，构建交错切换的层级调度：在行局部层中，递归扫描在行边界截断且注意力仅限同行内部可见；在跨行融合层中，开放跨行因果上下文以利用同源序列条件化目标表征（屏蔽跨行边界跳变位置的负对数似然损失）。零样本评估变异 $v$ 时，保持同源上下文 $C$ 固定，直接计算突变型与参考型目标行的平均因果对数似然差：

\[\Delta(v) = \ell_\theta(y^{\mathrm{mut}}; C) - \ell_\theta(y^{\mathrm{ref}}; C), \quad \ell_\theta(y; C) = \frac{1}{|\mathcal{T}|}\sum_{t \in \mathcal{T}} \log p_\theta(y_t \mid C, y_{<t}).\]

预言机引导的 MinGap 微调与 GRPO 强化学习设计： 在细胞类型特异性增强子设计中，首先基于主干训练多子类染色质可及性预言机。生成器的训练分为两步：（1）条件有监督微调（SFT）：将目标细胞类型映射为单字节前缀词元，根据预言机预测的目标细胞活性 $s_c$ 与非目标类最大活性的差值定义特异性间隔 $\mathrm{MinGap}(c) = s_c - \max_{c’ \neq c} s_{c’}$，筛选高特异性天然序列并以 $\mathrm{MinGap}$ 加权交叉熵损失；（2）GRPO 强化学习：以截断特异性奖励 $r(x, c) = \max\big(0, \mathrm{MinGap}(x, c)\big)$ 为引导，对每个细胞类型提示词采样候选序列组，利用组内相对奖励优势与针对 SFT 参考策略的 KL 正则迭代优化生成分布。

⚪ Creator 1.0：系统发育树引导的分阶段多检查点植物基因组解码器

针对多物种基因组预训练通常仅保留单一最终模型、难以兼顾跨物种共享规律与特定植物谱系特征的问题，Creator 1.0 在因果 Transformer 解码器上提出系统发育引导的分阶段预训练（PGSP），按固定系统发育树拓扑顺序在 $1{,}000$ 种植物基因组上连续推进训练并保留累积阶段检查点，为不同下游任务与样本规模提供可适配的模型库。

非重叠 $3$-mer 分词与 Gemma 3 因果解码器： 模型采用步长为 $3$ 的非重叠 $3$-mer 分词，最大上下文窗口设为 $32{,}768$ 个词元（约 $98.3\text{ kbp}$）。主干网络基于 $2\text{B}$ 参数规模的 Gemma 3 因果 Transformer 架构，配备分组查询注意力（GQA，包含 $8$ 个查询头与 $2$ 个键值头），通过自回归下一词元预测学习序列上下文表征。

系统发育引导的分阶段预训练（PGSP）： 预训练语料整合自跨越 $52$ 个目、$199$ 个科的 $1{,}000$ 个植物物种参考基因组（共约 $1.11\text{ Tbp}$）。PGSP 将全部语料按照固定的植物系统发育树拓扑划分为 $S=83$ 个连续的训练阶段 \(\mathcal{D}_1, \ldots, \mathcal{D}_S\)；第 $s$ 阶段继承前一阶段的模型参数 $\theta_{s-1}$ 继续优化自回归负对数似然，并持久化保存与特定植物目关联的 $52$ 个累积检查点：

\[\theta_s = \operatorname*{arg\,min}_{\theta} \mathbb{E}_{x \sim \mathcal{D}_s}\!\left[-\sum_{t=1}^{T} \log p_\theta(x_t \mid x_{<t})\right], \quad \theta_s^{\mathrm{init}} \leftarrow \theta_{s-1}.\]

阶段依赖表征与跨监督机制适配： 下游评估冻结各阶段主干并提取序列嵌入训练逻辑回归线性探针。在多物种植物长链非编码 RNA（lncRNA） 等任务上的轨迹相关性分析（对阶段秩次做最小二乘回归残差校正）表明，最优表征并非总是出现在最终阶段：全量数据、$10$-shot 与 $1$-shot 少样本设定分别偏好不同的中间累积阶段检查点，且检查点关联的植物目分类标签并不直接决定对应物种的最优性能，从而支持按目标任务与标注预算在检查点序列中执行阶段选择。

6. 隐空间表征学习（Latent-Space Learning）

前述预训练范式均在离散词元空间（Token Space）中定义重建或判别损失。然而，由于基因组序列存在广泛的同义密码子简并性、调控元件位置弹性以及非编码区高背景噪声，强制模型逐碱基精确复原输入容易使其过拟合局部高频噪声，限制高层语义的抽象能力。

隐空间表征学习通过对比学习、特征蒸馏或联合嵌入预测架构（JEPA），将监督信号从输入词元空间迁移至连续特征空间（Latent Space），直接塑造序列的语义几何结构。

⚪ DNABERT-S：流形实例混合与课程对比表征学习

针对掩码或因果预训练模型在无监督嵌入空间中物种区分度弱的问题，DNABERT-S 以预训练 DNABERT-2 为骨干网络，通过两阶段课程对比学习与流形实例混合目标，学习能够将不同物种序列自发聚类的物种感知嵌入。

同基因组正样本对与第一阶段 Weighted SimCLR： 模型从微生物参考基因组中抽取来自同一基因组的两条 $10\text{ kbp}$ 非重叠片段构成正样本对 $(x_i, x_i^+)$，经末层均值池化输出序列嵌入 $f(x_i)$。课程对比学习的第一阶段采用引入虚拟标签 \(v_i \in \{0,1\}^B\)（$v_{i,i}=1, v_{i,n\neq i}=0$）的 Weighted SimCLR：对大小为 $B$ 的正样本对批次，锚点 $x_i$ 将批次内其余 $2B-2$ 个样本视为负样本，并根据余弦相似度 $s(\cdot,\cdot)$ 为更靠近锚点的困难负样本赋予指数放大的权重 $\alpha_{ij}$：

\[\begin{aligned} &\ell\big(f(x_i), v_i\big) = -\sum_{n=1}^{B} v_{i,n} \log \frac{\exp\!\big(s(f(x_i), f(x_n^+))/\tau\big)}{\sum_{j\neq i} \alpha_{ij} \exp\!\big(s(f(x_i), f(x_j))/\tau\big)}, \\ &\alpha_{ii^+} = 1, \quad \alpha_{ij} = \frac{\exp\!\big(s(f(x_i), f(x_j))/\tau\big)}{\frac{1}{2B-2}\sum_{k\neq i, i^+} \exp\!\big(s(f(x_i), f(x_k))/\tau\big)}. \end{aligned}\]

第二阶段——流形实例混合（MI-Mix）： 为构造更具挑战性的对比锚点并避免在离散输入层混合序列破坏生物学合理性，第二阶段将编码器拆解为前 $m$ 层映射 $g_m(\cdot)$ 与剩余层映射 $f_m(\cdot)$，即 $f(x) = f_m(g_m(x))$。每次前向传播随机抽取第 $m$ 层，将锚点批次编码至中间隐状态 $(g_m(x_i), v_i)$ 并随机打乱得到配对样本 $(g_m(\tilde{x}_i), \tilde{v}_i)$，从 $\mathrm{Beta}(\alpha, \alpha)$ 分布采样系数 $\lambda_i$ 在隐空间执行凸组合插值：

\[\begin{aligned} &h_i^m = \lambda_i g_m(x_i) + (1 - \lambda_i) g_m(\tilde{x}_i), \quad v_i^{\mathrm{mix}} = \lambda_i v_i + (1 - \lambda_i) \tilde{v}_i, \\ &\widehat{\mathcal{L}}_{\mathrm{Phase\,II}} = -\frac{1}{B}\sum_{i=1}^{B}\sum_{n=1}^{B} v_{i,n}^{\mathrm{mix}} \log \frac{\exp\!\big(s(f_m(h_i^m), f(x_n^+))/\tau\big)}{\sum_{j=1}^{B} \alpha_{ij^+} \exp\!\big(s(f_m(h_i^m), f(x_j^+))/\tau\big)}. \end{aligned}\]

⚪ HAD：可见表征蒸馏与掩码查询重建的紧凑混合模型

HAD 采用可见位置高层表征对齐与掩码位置低层核苷酸重建的双支路预训练框架，通过两阶段分组掩码消除跨分词粒度泄漏，将近 $5$ 亿参数的 NTv2 教师模型蒸馏至仅 $1.1\text{M}$ 参数的双向门控增量网络（Gated Delta Net, GDN）与自注意力混合学生架构中。

双向 GDN-Attention 混合学生主干： 学生模型采用单核苷酸分词，主干由底层的双向 GDN 块与顶层的单层全局自注意力组成。在每个 GDN 块内，查询、键、值经短卷积与归一化后，通过数据依赖的遗忘门 $\alpha_t$ 与增量更新强度 $\beta_t$ 动态更新矩阵记忆状态 $S_t$：

\[S_t = S_{t-1} \Big( \alpha_t \big( I - \beta_t k_t k_t^\top \big) \Big) + \beta_t v_t k_t^\top.\]

正反向序列经独立 GDN 编码并对齐相加后，交由顶层自注意力融合全局上下文。

两阶段分组掩码、跨粒度蒸馏与掩码查询重建： 针对单核苷酸学生（序列长 $N$）与非重叠 6-mer 教师（序列长 $N/6$）之间的粒度失配，模型先在教师的 6-mer 单元上随机抽取 $15\%$ 掩码，再展开映射为学生端对应的连续 $6$ 个单核苷酸位置，将输入划分为可见集合 $\mathcal{V}$ 与掩码集合 $\mathcal{M}$。在蒸馏支路中，学生仅编码可见核苷酸片段，其输出经步长为 $6$ 的平均池化与线性投影对齐为 $Z_v^{\mathcal{S}}$，与冻结教师的可见隐状态 $Z_v^{\mathcal{T}}$ 计算均方误差；在重建支路中，解码器以掩码位置嵌入为查询 $Q_m$、学生输出的可见位置表征为键值 $K_v, V_v$ 执行交叉注意力，预测原始核苷酸 $y_m$：

\[\mathcal{L}_{\mathrm{Dis}} = \frac{1}{|\mathcal{V}|} \sum_{v \in \mathcal{V}} \big\lVert Z_v^{\mathcal{S}} - Z_v^{\mathcal{T}} \big\rVert_2^2, \quad \mathcal{L}_{\mathrm{Rec}} = -\sum_{m \in \mathcal{M}} \log p\big(y_m \mid X_m\big).\]

⚪ JEPA-DNA：EMA 目标与防坍缩约束的隐空间持续预训练

JEPA-DNA 构建了一个基因组基础模型持续预训练框架，将保留局部语法的词元级重建（MLM/NTP）与预测全局语义的联合嵌入预测架构（JEPA）及 VICReg 防坍缩正则相结合，提升模型表征的线性可分性与零样本变异效应预测能力。

渐进跨度掩码与二次掩码： 给定完整序列 $y$，模型采用渐进式跨度掩码生成受损输入 $x$（掩码覆盖率随训练步数从 $10\%\text{–}30\%$ 线性增至 $30\%\text{–}50\%$）。上下文编码器 $E_\theta$ 读取 $x$ 输出 $h^{\mathrm{ctx}} = E_\theta(x)$；同结构的目标编码器 $E_{\bar\theta}$ 读取完整序列 $y$ 产生目标隐序列 $z = E_{\bar\theta}(y)$，其权重停止梯度回传并通过指数移动平均（EMA）更新。为阻断掩码位置的残留局部特征向预测器泄漏，在进入预测器 $P_\phi$ 前执行二次掩码（Re-masking）：将掩码目标位点替换为可学习的隐空间 [MASK] 嵌入并叠加正弦位置编码，经轻量预测器输出预测表征 $\hat{z}$。

词元恢复、隐空间对齐与 VICReg 防坍缩： 框架采用带动量的随机梯度下降（SGDM）并行优化三组损失：（1）生成式语言模型损失（\(\mathcal{L}_{\mathrm{llm}}\)）：计算常规的 MLM 或 NTP 交叉熵；（2）隐空间预测损失（\(\mathcal{L}_{\mathrm{jepa}}\)）：经聚合算子 $A$ 提取全局表征 \(\hat{z}^{\mathrm{glob}} = A(\hat{z})\) 与 \(z^{\mathrm{glob}} = A(z)\)，最小化二者的余弦距离；（3）确定性方差—协方差正则（\(\mathcal{L}_{\mathrm{var}}, \mathcal{L}_{\mathrm{cov}}\)）：以评估模式额外提取无 Dropout 噪声的确定性全局表征矩阵 $U \in \mathbb{R}^{B \times d}$，施加铰链方差约束与去相关协方差惩罚以防止表征坍缩：

\[\begin{aligned} &\mathcal{L}_{\mathrm{llm}} = -\sum_{i \in \mathcal{M}} \log P(t_i \mid h_i), \quad \mathcal{L}_{\mathrm{jepa}} = 1 - \frac{\hat{z}^{\mathrm{glob}} \cdot z^{\mathrm{glob}}}{\lVert \hat{z}^{\mathrm{glob}} \rVert_2 \lVert z^{\mathrm{glob}} \rVert_2}, \\ &\mathcal{L}_{\mathrm{var}} = \frac{1}{d}\sum_{j=1}^{d} \max\!\big(0, \gamma - \sigma(u_{:,j})\big), \quad \mathcal{L}_{\mathrm{cov}} = \frac{1}{d}\sum_{i \neq j} C_{ij}^2, \quad C = \frac{1}{B-1}(U - \bar{U})^\top (U - \bar{U}), \\ &\min_{\theta, \phi} \mathcal{L}_{\mathrm{total}} = \lambda_1 \mathcal{L}_{\mathrm{llm}} + \lambda_2 \mathcal{L}_{\mathrm{jepa}} + \lambda_3 \mathcal{L}_{\mathrm{var}} + \lambda_4 \mathcal{L}_{\mathrm{cov}}. \end{aligned}\]

⚪ GenoJEPA：连续切块与草图各向同性高斯正则的隐空间对齐

GenoJEPA 将免启发式联合嵌入预测架构（LeJEPA）引入多物种基因组表征学习，通过非重叠连续切块压缩序列长度，并在隐空间中联合优化多视图裁剪不变性损失与草图各向同性高斯正则（SIGReg），无需非对称预测器或停止梯度即可防止表征坍缩。

非重叠连续切块与多视图均值锚点对齐： 输入端将序列切分为大小为 $P=16$ 的非重叠连续切块，块内单核苷酸嵌入展平后经线性投影聚合为 ModernBERT 双向编码器的输入序列（长度压缩为 $1/16$）。为避免随机突变破坏调控基序，模型仅通过随机区间裁剪为每条序列构造 $2$ 个高比例全局视图（集合 \(\mathcal{V}_{\mathrm{global}}\)）与 $6$ 个低比例局部视图（总集合 \(\mathcal{V}\)）。各视图经编码器、均值池化与投影头映射为隐表征 $z_v$，并以全局视图均值 \(\bar{z}_{\mathrm{global}}\) 为锚点约束全部视图向中心收敛：

\[\mathcal{L}_{\mathrm{Invariance}} = \frac{1}{|\mathcal{V}|} \sum_{v \in \mathcal{V}} \big\lVert z_v - \bar{z}_{\mathrm{global}} \big\rVert_2^2, \quad \bar{z}_{\mathrm{global}} = \frac{1}{|\mathcal{V}_{\mathrm{global}}|} \sum_{g \in \mathcal{V}_{\mathrm{global}}} z_g.\]

草图各向同性高斯正则（SIGReg）： 为防止表征坍缩并消除各向异性偏差，模型依据 Cramér–Wold 定理引入 SIGReg 损失：每次前向传播随机采样 $K$ 个单位方向向量 $\theta_k$，将批次内全部 $N$ 个视图表征 $z_j$ 投影为一维标量 $\theta_k^\top z_j$，在 $M$ 个离散频率评估点 $t_m$（配以积分权重 $w(t_m)$）上计算经验特征函数与标准正态分布特征函数 $\phi(t) = e^{-t^2/2}$ 的加权平方误差：

\[\begin{aligned} &\mathcal{L}_{\mathrm{SIGReg}} = \frac{1}{K} \sum_{k=1}^{K} \sum_{m=1}^{M} w(t_m) \left[ \left( \frac{1}{N} \sum_{j=1}^{N} \cos\!\big(t_m \theta_k^\top z_j\big) - e^{-t_m^2 / 2} \right)^2 + \left( \frac{1}{N} \sum_{j=1}^{N} \sin\!\big(t_m \theta_k^\top z_j\big) \right)^2 \right], \\ &\mathcal{L}_{\mathrm{total}} = (1 - \alpha) \mathcal{L}_{\mathrm{Invariance}} + \alpha \mathcal{L}_{\mathrm{SIGReg}}. \end{aligned}\]