DNA 序列缺乏类似自然语言的显式词汇边界，固定分词（如 k-mer 或 BPE）容易割裂密码子或调控元件，而单核苷酸分词则面临长序列的高计算开销。dnaHNet、DNAChunker 与 LDARNet 均引入 H-Net 的 tokenizer-free 可微动态分块架构，采用“编码器（$E$）—主网络（$M$）—解码器（$D$）”的层级结构，在预训练中联合学习序列表示与自适应词元边界。三者在特征提取、边界路由、解块还原与压缩率约束上共用同一套数学机制：

余弦不相似度路由与下采样： 编码器先用状态空间模型（Mamba 系列）提取当前层级的上下文隐状态 $h_t \in \mathbb{R}^D$，线性投影为查询 $q_t = W_q h_t$ 和键 $k_t = W_k h_t$，再由相邻特征的余弦不相似度计算边界概率 $p_t \in [0, 1]$：
\[p_t = \frac12\big(1 - \mathrm{CosineSim}(q_t, k_{t-1})\big), \quad b_t = \mathbf{1}[p_t > 0.5].\]
当相邻表征差异较大时触发边界（$b_t=1$）。分块层直接抽取 $b_t=1$ 位置的隐状态送入深层主网络；前向离散采样通过直通估计器（STE）与解码端的概率门控平滑将梯度回传至 $p_t$。
解块（Dechunking）与分辨率还原： 主网络处理完压缩序列后，解码器分两步恢复至单碱基分辨率：先以边界概率 $p$ 为门控权重，对相邻分块表示做线性递归平滑（EMA 或线性扫描）以消除离散切分伪影并提供梯度通路；再按累计边界计数索引 $j(t)=\sum_{k=1}^t b_k$，将平滑后的 chunk 表示广播复制回对应的原始碱基位置。
Ratio Loss 压缩率约束： 为防止路由退化为“全选”或“全不选”，三者均在主损失 $\mathcal L_{\text{LM}}$ 上联合优化 Ratio Loss，约束第 $s$ 级实际离散选中率 $F_s=\frac{1}{L}\sum_{t=1}^L b_t^{(s)}$ 与平均边界概率 $G_s=\frac{1}{L}\sum_{t=1}^L p_t^{(s)}$ 趋近目标压缩率 $R_s$（目标保留率 $\alpha_s = 1/R_s$）：
\[\mathcal L = \mathcal L_{\text{LM}} + \lambda \sum_s \frac{R_s}{R_s-1}\Big((R_s-1)F_sG_s + (1-F_s)(1-G_s)\Big).\]
反向传播中不可导的 $F_s$ 视为常数，对可导项 $G_s$ 求偏导可得：
\[\frac{\partial \mathcal L_{\text{rate}}^{(s)}}{\partial G_s} \propto (R_s-1)F_s - (1-F_s) = R_s F_s - 1.\]
当选中过多（$F_s > 1/R_s$）时导数为正，梯度下降压低 $G_s$ 以减少过阈值位置；当选中过少（$F_s < 1/R_s$）时导数为负，梯度拉高 $G_s$ 以增加分块数；当 $F_s = G_s = 1/R_s$ 时导数为零且损失基准值归一化为 $1$，从而在不干预具体切分位置的前提下维持目标压缩比。

三项工作在预训练范式、主干架构、掩码防泄露策略及解块平滑顺序上的差异如下：

1. dnaHNet：单向自回归生成与密码子先验对齐

单向因果自回归与容量重分配： dnaHNet 采用单向自回归下一词元预测（$\mathcal L_{\text{NLL}}=-\sum_{t=1}^L\log P_\theta(x_t\mid x_{<t})$）。编码器与解码器对称采用 4 层因果 Mamba 加 1 层滑窗 Transformer，并将外层编解码器的参数占比提升至 $30\%$（文本 H-Net 为 $15\%$），以适配局部基因组语法。

生物学先验驱动的两级压缩： 模型采用两级递归嵌套结构，设定目标压缩率 $R_1=3, R_2=2$（总压缩率 $6\times$，内层自注意力计算量降低 $36\times$）。第一级对齐编码区的三联体密码子周期性；第二级基于密码子对偏好（codon pair bias）聚合相邻密码子，建模启动子与基因间区等长程依赖。

单向平滑与按需触发推理： 解码器还原时，先沿时间轴做单向递归插值平滑 $\bar e_j=P_j\hat e_j+(1-P_j)\bar e_{j-1}$，再复制扩展回单碱基位置。自回归推理时，若 $b_t=0$ 仅将当前碱基累积至外层编码器状态；仅当 $b_t=1$ 触发边界时，才将累积的 chunk 送入主网络与解码器更新分布并采样。

2. DNAChunker：面向双向 MLM 的掩码隔离与残差门控

双向编码与均值索引位置编码： DNAChunker 采用双向掩码语言模型（MLM，随机掩盖 $15\%$ 碱基）。模型做两级分层压缩（每级保留率 $\alpha^{(s)}=0.33$，总压缩约 $9\times$），每级编解码器均为 2 层 BiMamba；主网络为 30 层双向 Transformer，其 RoPE 位置编码直接取每个 chunk 覆盖碱基的平均索引坐标。

掩码保护与残差门控： 针对 MLM 中的预训练伪影与信息泄露，模型引入两项约束：（1）Mask Protection：在每个 [MASK] 前后强制切出硬边界，使其在各级均保持为孤立的单例 chunk，防止路由网络利用人工掩码走分段捷径；（2）Masked Residual Gating：解码器虽引入同级编码器残差以补充局部细节，但凡是包含 [MASK] 的分段，其编码器残差均强制置零，防止 BiMamba 混合的邻近碱基信息直接泄露给解码器而绕过主网络。

后置双向扫描与重复序列降权： 解码器先按累计边界计数将分块表示复制广播回目标长度 $\tilde z_t^{(s+1)}=z^{(s)}{\sum{k=1}^t b_k^{(S-s)}}$，再以边界概率 $p$ 为门控执行前向与后向线性扫描并取平均：

\[z_t^{(s+1)}=\frac12\left(\mathrm{SCAN}_\rightarrow(\tilde z^{(s+1)},p)_t+\mathrm{SCAN}_\leftarrow(\tilde z^{(s+1)},p)_t\right).\]

训练时将 RepeatMasker 注释的重复序列区 MLM 损失权重降为 $w_t=0.1$（非重复区为 $1.0$），减少简单重复片段对表征容量的占用。

3. LDARNet：全 BiMamba-2 骨干与双向对称路由/平滑

全 BiMamba-2 骨干与投影权重共享： LDARNet（110M 参数）在双向 MLM 下采用单级压缩（$S=1$，目标压缩率 $N=4$），主干不使用全局 Transformer。模型按 [m3t1, [M10], m4] 布局：编码器（3 层 BiMamba-2 加 1 层窗口为 $1023$ 的局部自注意力）与解码器（4 层 BiMamba-2）维度为 $512$，主网络为 10 层维度拓宽至 $768$ 的 BiMamba-2。BiMamba-2 对输入 $X$ 施加 padding 掩码 $M$ 后，沿正向与翻转时间轴分别运行 Mamba-2（$\mathrm{M2}$）并取均值：

\[Y=\frac12\left[\mathrm{M2}(X\odot M)+\mathrm{flip}_T(\mathrm{M2}(\mathrm{flip}_T(X\odot M)))\right].\]

前向与反向分支共享输入/输出线性投影权重（${W_{\text{in}},b_{\text{in}},W_{\text{out}},b_{\text{out}}}$）；预训练配合 $50\%$ 反向互补（RC）数据增强，并对编解码器施加 $3\times$ 学习率放大（$\eta_{\text{outer}}=\eta_{\text{base}}\sqrt{N\cdot d_{\text{back}}/d_{\text{outer}}}$）以补偿分块梯度衰减。

双向对称余弦路由与前置双向 EMA： 为降低 [MASK] 对局部相似度的干扰，路由端将 $W_q, W_k$ 初始化为单位矩阵，同时计算相邻位置的前向与后向余弦相似度并取均值：

\[\begin{aligned} &s_t^{\mathrm{fwd}}=\cos(q_{t-1},k_t),\quad s_t^{\mathrm{bwd}}=\cos(q_t,k_{t-1}),\\ &\bar s_t=\frac12(s_t^{\mathrm{fwd}}+s_t^{\mathrm{bwd}}),\quad p_t=\frac12(1-\bar s_t). \end{aligned}\]

解块端先在压缩序列上执行前向与后向指数移动平均（EMA）平滑并取平均：

\[\begin{aligned} &\bar z_j^{\mathrm{fwd}}=p_jz_j+(1-p_j)\bar z_{j-1}^{\mathrm{fwd}},\quad \bar z_j^{\mathrm{bwd}}=p_jz_j+(1-p_j)\bar z_{j+1}^{\mathrm{bwd}},\\ &\bar z_j=\frac12(\bar z_j^{\mathrm{fwd}}+\bar z_j^{\mathrm{bwd}}), \end{aligned}\]

最后按累计边界计数索引 $j(t)=\sum_{k=1}^t b_k$ 将平滑表示 $\bar z_{j(t)}$ 逐段常数广播回原序列长度。

⚪ BioToken / BioFM：生物注释感知的标记化与高效基础模型

paper：BioToken and BioFM – Biologically-Informed Tokenization Enables Accurate and Efficient Genomic Foundation Models

现有基因组语言模型通常将 DNA 视为纯核苷酸序列，忽略了诠释遗传变异所需的基因结构与调控上下文。该工作提出生物注释感知的分词框架 BioToken，将单核苷酸变异（SNV）、插入缺失与功能结构注释编码进一个包含 23 个词元的统一词表，并在此基础上训练了 265M 参数的自回归模型 BioFM。

词表设计与模型预训练： 在 BioToken 词表中，SNV 和插入用特殊变异词元 $\check{\mathrm{A}},\check{\mathrm{G}},\check{\mathrm{C}},\check{\mathrm{T}}$ 替换原碱基；基于 GENCODE 的基因结构注释则通过成对的起止特殊词元（[START/END TRANSCRIPT]、[START/END EXON] 和 [START/END CDS]）直接插入序列对应边界。BioFM 基于 Mistral 的 decoder-only Transformer 架构（23 层、265M 参数），保留分组查询注意力（GQA）但关闭局部滑窗注意力；上下文窗口设为 6K（$6,144$ tokens），并将 RoPE 基频 $\theta$ 从 $10^4$ 调至 $10^5$。预训练数据取自 1000 Genomes Project 五大超级人群的 50 个真实个体全基因组测序数据（将个体的真实分相变异与注释写入参考基因组，共约 333B tokens），采用标准下一词元预测目标：

\[\mathcal L=-\sum_t\log p_\theta(x_t\mid x_{<t}),\]

其中 $x_t$ 可为核苷酸、变异词元或注释词元。训练时对 $50\%$ 的输入序列随机做反向互补增强，同时翻转并仅保留链特异的注释边界。

下游双向特征拼接与生成： 为弥补单向因果解码器缺失下文的限制，下游变异效应预测在提取特征时采用双向拼接策略（有效上下文达 12K）：分别截取以目标变异为终点的上游正向序列（$6,144\text{ bp}$）和下游反向互补序列（$6,144\text{ bp}$），将两者的末位变异词元表示取平均，再将参考序列（$\mathbf{e}^{\text{ref}}$）与突变序列（$\mathbf{e}^{\text{mut}}$）的平均表示拼接为 $[\mathbf{e}^{\text{ref}} \parallel \mathbf{e}^{\text{mut}}]$ 输入线性分类器；此外，模型也可通过指令微调（如 <基因序列> P <启动子序列>）用于合成启动子等调控序列的从头生成。

⚪ OpticalDNA：把 DNA 当作 OCR 文档的视觉建模

paper：Rethinking Genomic Modeling Through Optical Character Recognition

一维序列模型在处理长基因组时需逐词元扫描大段低信息密度的背景区域，计算开销随长度线性或平方增长。OpticalDNA 将一维 DNA 序列（$S=(s_1,\dots,s_N), s_i\in{\mathrm{A,C,G,T,N}}$）建模转化为基于 OCR 的多模态文档理解问题，通过将序列渲染为二维图像并利用高压缩比的视觉 token 实现区域级阅读、定位与检索。

DNA 文档渲染与六类 OCR 任务： 模型将长序列按行连续光栅化为无辅助标记的多页固定分辨率（$640\times640$，字号 14、行距 1.6，每页约 $1,800\text{ bp}$）RGB 图像文档：

\[D(S)=\left(\{\text{page}_p\}_{p=0}^{P-1},\{B^{(p)}\}_{p=0}^{P-1}\right),\]

每页标注列表 $B^{(p)}$ 为每个碱基记录字符、全局索引和像素级 bounding box $b_k^{(p)}=(c_k^{(p)}, g_k^{(p)}, r_k^{(p)})$，建立从一维区间 $(i,j)$ 到二维页面区域 $b_{ij}=[\text{img_id},x_1,y_1,x_2,y_2]$ 的双射映射 $\Phi$。预训练围绕四类基因组原语构造六类任务：T1 自由全文转录、T2 逐行转录+空间定位、T3 给定感兴趣区域（ROI）框转录、T4 掩码区域补全（将目标框涂白遮挡，利用上下文推断原序列）、T5 查询子序列检索与多处定位、T6 染色体分类；样本统一组织为包含 <|User|>（含 <image> 占位符、页数 \nNUM_IMAGES=P. 及指令 $q$）和 <|Assistant|>（目标输出 $y$）的两轮多模态对话。

视觉编码与文档解码： 视觉端 $E_\theta$ 采用 DeepSeek-OCR 的 SAM–Conv–CLIP-L 视觉前端 $V(\cdot)$ 编码每页的 $16\times16$ patch，经卷积层沿 token 维做 $16\times$ 下采样及投影器 $\Pi_\theta$ 对齐维度后，得到单页特征 $\tilde U = \Pi_\theta(V({\text{page}p})) \in \mathbb{R}^{P\times T\times d}$（$T=T_0/16$）。接着由多页融合模块 $F\theta$（1 层 20 头自注意力加跨页均值池化）聚合成固定长度（$L=100$）的文档级视觉表示：

\[Z=E_\theta(\{\text{page}_p\}_{p=0}^{P-1})=F_\theta(\tilde U)\in\mathbb R^{L\times d}.\]

解码端 $G_\psi$ 采用基于 DeepSeek-3B（MoE，激活参数 570M）的自回归解码器，在 $Z$ 和指令 $q$ 条件下生成输出序列 $\hat Y$：

\[P_\psi(\hat Y\mid Z,q)=\prod_{t=1}^{T}P_\psi(\hat y_t\mid\hat y_{<t},Z,q).\]

训练策略与下游适配： 预训练仅对 assistant 回答区间计算 teacher-forcing 交叉熵损失，并配合任务分布采样、尾部区域随机截断涂白与提示词长度课程退火（长$\to$短）。训练时冻结视觉前端，全参更新多页融合模块 $F_\theta$，对解码器 $G_\psi$ 与投影器 $\Pi_\theta$ 做 LoRA 微调。下游任务直接丢弃解码器，用冻结的视觉编码器提取多页特征，经均值池化与展平后接轻量线性探针或浅层 MLP 预测头。

⚪ SPU-DNA：协同可塑性单元与时频多分辨率建模

paper：Adaptive DNA Sequence Modeling via Synergistic Plasticity Units

基因组序列同时包含局部 motif、长程调控依赖与周期性信号，固定感受野的静态卷积与纯时域注意力难以同时兼顾。SPU-DNA 提出协同可塑性单元（SPU），将局部可塑性层（LPL）、域可塑性层（DPL）与显著性可塑性层（SPL）组合为单一算子，实现局部—全局、时域—频域的多分辨率表征。给定输入 $E\in\mathbb{R}^{B\times L\times D}$，LPL 先提取多尺度局部特征，其输出并行送入 DPL 与 SPL，最终由 SPL 调制 DPL 的时频输出。

局部与时频双域特征提取（LPL & DPL）： LPL 使用 $T=4$ 个核宽为 ${1,3,5,7}$ 的静态卷积提取多尺度特征 $F_i=\mathrm{Conv}(k_i,E)$，同时由 $1\times1$ 卷积从输入生成位点相关的混合权重 $m_{j,i}$，逐位置动态聚合感受野：

\[F_{\mathrm{lpl},j}=\sum_{i=0}^{T-1}m_{j,i}F_{i,j}.\]

DPL 并行包含时域与频域两条路径：时域路径以 $F_{\mathrm{lpl}}$ 为 AdaLN 条件，经 MLP 生成复数滤波器 $h$ 并乘上对称指数衰减窗得到长卷积核 $p$，利用 FFT 执行非因果全局卷积：

\[\hat F_{\mathrm{lpl}}=\mathrm{CenterCrop}_L\!\left(\mathrm{iFFT}\big(\mathrm{FFT}(F_{\mathrm{lpl}})\odot\mathrm{FFT}(p)\big)\right).\]

频域路径对 $F_{\mathrm{lpl}}$ 逐级做小波分解 $(P_i^l,P_i^h)=\mathrm{WT}(P_{i-1}^l)$，在各高频子带与最底层低频子带上分别做全局卷积，再以可学习尺度 $\gamma_i$ 逐级逆变换重构并累加回时域特征：

\[\tilde P_i^l=P_i^l+\mathrm{IWT}(\gamma_i\tilde P_{i+1}^l,\hat P_{i+1}^h),\quad F_{\mathrm{dpl}}=\hat F_{\mathrm{lpl}}+\mathrm{IWT}(\gamma_0\tilde P_1^l,\hat P_1^h).\]

显著性调制与训练配置（SPL）： SPL 从通道和空间位置两个维度计算门控权重：通道分支沿位置轴均值池化后经 MLP 得到 $S_c$，位置分支沿通道轴拼接均值与最大值后经深度可分离卷积得到 $S_p$，广播后逐元素调制 DPL 的输出：

\[F_{\mathrm{out}}=F_{\mathrm{dpl}}\odot S_c\odot S_p.\]

主干网络将 SPU 与 FFN 交替堆叠，依赖 FFT 全局卷积将单层复杂度控制在 $\mathcal{O}(L\log L)$。模型在 hg38 上以单核苷酸分词执行 $15\%$ 掩码 MLM 预训练（窗口长度 $1\text{k}\sim32\text{k}$）；下游分类任务直接微调，长程变异效应预测则通过比较参考与突变序列的位点邻域嵌入完成。

1.2 训练目标、可解释性与评测

⚪ Gamba：以进化速率预测为预训练目标

paper：Predicting evolutionary rate as a pretraining task improves genome language model representations

传统基因组语言模型依赖纯序列重建（NTP 或 MLM）进行预训练，容易受大段非功能背景序列干扰而难以捕捉真实的生物功能约束。Gamba 将比较基因组学中的 PhyloP 分数（源自 Zoonomia 241 种哺乳动物全基因组比对的单碱基分辨率进化速率，正值代表保守位点、负值代表加速进化位点）直接作为预训练监督信号，使模型在仅输入单条 DNA 序列（测试时无需多序列比对 MSA）的条件下学习跨物种进化约束。

对齐的进化预训练任务与双头损失： 论文提出了两种与序列重建在输入形式上严格对齐的进化速率预测任务：

CEP（Current Evolution Prediction）：在单向自回归设定下，用位置 $i$ 及其上游序列 $x_{1:i}$ 预测位置 $i$ 的 PhyloP 分数 $\hat y_i$，与 NTP 对齐；
MEM（Masked Evolution Modeling）：在双向设定下，随机遮蔽 $15\%$ 的碱基，用双向上下文重建序列所有位置的 PhyloP 分数，与 MLM 对齐。

模型顶部包含序列与进化速率两个线性头。进化头将位置 $i$ 的最终隐状态映射为高斯分布的均值 $\mu_i$ 与对数方差 $\log\sigma_i^2$，采用高斯负对数似然（GNLL）损失训练：

\[\mathcal L_{\mathrm{GNLL}}=\frac1N\sum_{i=1}^N\left[\frac12\log\max(\sigma_i^2,\epsilon)+\frac{(y_i-\mu_i)^2}{2\max(\sigma_i^2,\epsilon)}\right]+\text{const},\]

其中 $y_i$ 为原始尺度的真实 PhyloP 分数，$\epsilon$ 为方差截断阈值。序列头则输出 4 种碱基的 logits 并计算交叉熵损失 $\mathcal L_{\mathrm{CE}}$。进化任务既可单独训练，也可按 $\mathcal L=\mathcal L_{\mathrm{GNLL}}+\mathcal L_{\mathrm{CE}}$ 与序列重建联合训练。

模型变体与零样本评估： 预训练语料取自人类参考基因组 hg38（剔除 RepeatMasker 重复区、着丝粒及含 $>10\%$ 未知碱基 N 的窗口，保留约 $10\text{ 亿 bp}$ 区域，窗口长 $2,048\text{ bp}$），实例化为两类模型：（1）ArGamba（66.5M 参数）：基于 Jamba 的因果 Transformer–Mamba 混合 MoE 架构，训练 NTP / CEP / NTP+CEP；（2）Bi-Gamba（3.9M 参数）：基于 Caduceus 的反向互补等变 BiMamba 架构，训练 MLM / MEM / MLM+MEM。下游全部采用零样本评估：功能区分离与 ATG 密码子语境分类直接对区域隐状态做均值池化后运行留一法 1-NN 检索；变异效应预测（VEP）则在正反双链上分别计算等位基因对数似然比（LLR，来自序列头）或变异位点预测进化速率（ERP，来自进化头）并取平均排序。

⚪ SAE-gLM：用稀疏自编码器解释基因组语言模型

paper：Interpreting Genomic Language Models using Sparse Autoencoders

基因组语言模型内部神经元普遍存在多义性（polysemanticity）与特征叠加（superposition），难以直接对应具体的生物学概念。SAE-gLM 将预训练模型（以 Evo2-7B 为主案例）中间层的单碱基嵌入 $x\in\mathbb R^d$ 输入事后（post-hoc）训练的 BatchTopK 稀疏自编码器（SAE），通过单隐层编解码结构学习一个过完备字典（$m\gg d$，默认 $d=4096, m=16,384$，稀疏度 $K=64$），将混杂表征分解为稀疏激活的近单义隐特征：

\[\hat x=W_{\mathrm{dec}}\sigma(W_{\mathrm{enc}}x+b_{\mathrm{enc}})+b_{\mathrm{dec}}.\]

基准构建与三类评估指标： 作者在留出的 chr22 染色体上构建了 55 个基因组概念的测试集（覆盖基因结构、调控元件、重复序列和保守区，采样 $10\text{ kb}$ 平衡窗口），并设计了三类评估指标量化单个最优隐特征 $f(s_i)$ 与注释的对应关系：

核苷酸级 Precision + Domain 级 Recall 的修正 F1：针对局部 motif 响应特征，以 $\tau=0$ 二值化激活 $\hat f(s_i)=\mathbf{1}[f(s_i)>0]$。Precision 计算激活位置落入注释碱基（$a_i=1$）的比例，Recall 在连续注释区间（$d\in D$）级计算（区间内至少激活一次即记为检出）：
\[\mathrm{Precision} = \frac{\sum_{i=1}^L \mathbf{1}\{\hat f(s_i)=1 \wedge a_i=1\}}{\sum_{i=1}^L \mathbf{1}\{\hat f(s_i)=1\}}, \quad \mathrm{Recall} = \frac{|\{d\in D : \exists i\in d \text{ s.t. } \hat f(s_i)=1\}|}{|D|}.\]
单变量稀疏探针（Sparse Probing）：针对全区域持续激活的特征，先按正负样本区的平均激活差筛选 Top-10 特征，再逐个训练单变量逻辑回归探针 $\mathrm{Probe}_{a,f}(s_i)=\sigma(w_f f(s_i)+b_f)$ 并报告最高 AUPRC。
稀疏事件激活富集分数（Sparse Event Activation）：针对转录起始位点（TSS）、起止密码子等极稀疏点事件（集合 $E$），在事件周围半径 $W=10\text{ bp}$ 内做高斯核平滑（$\sigma=5$）求平均激活 $\mu^{(+)}$，并与距离事件 $>W$ 的背景平均激活 $\mu^{(-)}$ 计算对数富集比 $S_{\mathrm{ratio}} = \log(\mu^{(+)}/\mu^{(-)})$。

共激活特征图谱与致病变异扰动： 为刻画特征间的高阶语义关联，作者在 chr1 上拼接 $500\text{ kb}$ 序列提取所有活跃特征的激活轨迹 $X\in\mathbb R^{F_{\text{live}}\times L}$，经 $1000\text{ bp}$ 均匀滤波平滑、非负截断及 $100\times$ 求和下采样后，用近似最近邻（ANN）检索 $k=80$ 个近邻，计算适合稀疏向量的连续 Tanimoto 系数构图并做对称度归一化（$K_{\text{norm}}=D^{-1/2}KD^{-1/2}$）：

\[K_{ij} = \frac{x_i x_j}{\|x_i\|^2 + \|x_j\|^2 - x_i x_j + \epsilon}.\]

随后运行 Node2Vec 与 UMAP 生成特征图谱（feature atlas）。在系统性红斑狼疮（SLE）等疾病变异分析中，模型对比突变与参考序列在变异周围 $W=100\text{ bp}$ 窗口内的特征激活对数比 $\Delta_f = \log(\sum_{i\in W} A_{f,i} / \sum_{i\in W} R_{f,i})$，结合激活峰值窗口的位置权重矩阵（PWM）即可定位致病变异所破坏的调控特征。

⚪ GENEB：基因组基础模型的统一 probing 评测

paper：GENEB: Why Genomic Models Are Hard to Compare

现有基因组基础模型通常在各自选取的任务子集和微调协议下评测，难以直接横向对比。GENEB 汇总了来自 NT、NT-rev、GUE、GB、PGB、iPro-WAEL、deep4mc、iDNA-ABF 和 iDHS-EL 共 9 个数据源的 100 个 DNA 分类任务（划分为组蛋白修饰、启动子、增强子、DNA 甲基化、剪接位点、植物 lncRNA 等 13 个功能类别），对 40 个不同架构（$2\text{M}\text{–}7\text{B}$ 参数）、分词策略和预训练语料的模型执行统一的冻结线性探针（probing）评测。

评测协议与聚合指标： 评估全程冻结预训练编码器，对序列隐状态做均值池化后训练逻辑回归分类器（max_iter=1000），从而将表示质量与下游微调策略解耦。每个任务均在 1-shot、10-shot 和 full-data 三种样本量下运行 5 个固定随机种子（{13, 17, 42, 123, 997}），样本数超过 $10^5$ 时执行下采样。单任务指标采用对类别不平衡稳健的马修斯相关系数（MCC），全局主指标定义为跨 $K=13$ 个功能类别的宏平均 MCC（防止任务数多的组蛋白修饰和启动子主导总榜）：

\[\mathrm{MacroMCC}=\frac1K\sum_{k=1}^K\mathrm{MCC}_k, \quad \mathrm{MCC}_k = \frac{1}{|T_k|}\sum_{t\in T_k}\mathrm{MCC}_t.\]

此外，作者在代表性子集上用单隐层非线性 MLP 探针复核了线性探针的排名稳定性（斯皮尔曼相关 $\rho=0.973$），并扫描正则化强度验证了少样本结论的鲁棒性。

受控配对分析与主要评测结论： 通过构建 31 组单变量受控模型配对（固定其余条件，仅改变架构、分词或语料中的一项），GENEB 得出了三项主要结论：

规模与性能解耦及领域错配： 参数量与总体性能呈正相关（$\rho=0.573$，剔除纯原核预训练的 Evo-1-131k 后为 $\rho=0.694$），但同域模型中存在 25 例“小模型击败 $5\times$ 以上大模型”的现象（如 86M 的 MutBERT 优于多个十亿级模型）；7B 原核模型在真核剪接位点等任务上排名垫底，表明参数规模无法弥补预训练语料的物种域错配。
架构、分词与语料的交互效应： 受控对比下 Transformer 整体优于所评估的 Mamba 模型，且编码器在多数配对中优于解码器，但状态空间模型在染色质可及性任务上表现出强专精性；分词方式无单一全局最优解，而是取决于下游任务（剪接位点与染色质可及性偏好单碱基分词，甲基化偏好 k-mer，病毒识别偏好 BPE）；多物种与真核基因精筛语料（如 GENERator）的迁移性能优于单一人类或微生物语料。
少样本退化与排名重洗： 从 full-data 降至 10-shot 和 1-shot 时，所有模型的平均 MacroMCC 分别下降 $48.2\%$ 和 $78.2\%$，且 13 个类别中有 8 个类别的榜首模型在 10-shot 下发生更替，说明全量数据总榜不能直接指导少样本场景的选型。

⚪ EDEN：宏基因组基础模型的缩放律与架构

paper：Scaling Laws and Architectural Frontiers in Metagenomic Foundation Models

宏基因组包含高度异构且长尾分布的微生物群落序列，线性复杂度模型与全局自注意力模型在该场景下的缩放效率尚不明确。EDEN 在经过质控过滤的 9.7T（万亿）核苷酸宏基因组语料 BaseData 上，以单碱基分辨率系统对比了三类主流自回归架构的缩放特性，并据此训练了 280 亿参数的宏基因组基础模型 EDEN-28B。

单碱基分词、语料质控与质量感知缩放律： 模型采用词表大小为 $512$ 的单核苷酸 byte-level tokenizer（含 A/C/G/T、BOS/EOS/SEP/PAD 及预留控制槽位），序列按长度 $8,192$、步长 $7,992$（$200\text{ bp}$ 重叠）切窗。训练语料仅保留长度 $>2\text{ kb}$、基因密度 $>20\%$、测序深度 $\ge 4\times$ 的长读长组装重叠群（平均 contig 长度 $\approx 18\text{ kb}$），并用 DUSTmasker 剔除低复杂度片段及真核病毒同源序列。为对比架构缩放律，作者在固定 $350\text{B}$ tokens 预算下，跨 100M、1B、7B 三个规模（Llama 另加 300M）评估了三类模型：（1）Llama3（标准全局自注意力，$\mathcal O(N^2)$，配 GQA 与 $\theta=5\times 10^5$ 的 RoPE）；（2）Mamba-2-Hybrid（每 7 层 Mamba-2 穿插 1 层注意力）；（3）Striped Hyena（每 7 层长卷积穿插 1 层注意力）。在双对数空间下对收敛验证损失与计算量 $C$（FLOPs）做最小二乘拟合：

\[L(C)\propto C^{-\alpha}.\]

实验表明幂律指数 $\alpha$ 显著依赖于数据组装质量：高连续性的 BaseData 拟合出的缩放指数（$\alpha \approx 0.059$）明显陡于短读长主导的 OpenGenome2（$\alpha \approx 0.047$，平均 contig 仅 $\approx 4\text{ kb}$），说明减少序列碎片化能提升单位算力的性能收益。

语义检索与结构外推权衡及 28B 扩展： 评测揭示了线性混合模型与纯注意力模型在长上下文生成（外推至 $20\text{k bp}$）中的核心差异：Mamba 与 Hyena 在超出 $8\text{k}$ 训练窗口后能更平缓地维持编码密度与序列复杂度等统计结构，但受限于固定维度递归状态的记忆瓶颈，容易出现偏离保守操纵子基因顺序的“语义偏离（semantic divergence）”；相反，Llama 依靠无损的全局 token-to-token 注意力，在 $7\text{B}$ 规模下在高功能密度/罕见 KEGG 基因困惑度、看家基因（ftsZ/recA/secY）序列补全折叠质量（ESMFold pLDDT 与 TM-score）、RNAGym 零样本适应度预测及核糖体 S10-spc 操纵子基因顺序恢复率上均优于后两者（且 $7\text{B}$ Llama 的训练 FLOPs 与 Striped Hyena 相当、约为 Mamba-Hybrid 的 $1/2.2$）。基于该结论，作者最终采用 48 层 Llama 架构（隐藏维 $6,144$、48 个注意力头、8 个 KV 头），在全量 9.7T 语料上结合 bfloat16/FP8 混合精度训练出 EDEN-28B，其最终验证损失与缩放律预测曲线吻合。

⚪ Genome-Factory：微调、部署与解释的一体化工具链

paper：Genome-Factory: A Library for Tuning, Deploying, and Interpreting Genomic Foundation Models

不同基因组基础模型在依赖环境、分词接口与微调方式上存在较大差异，缺乏统一的工具链支持。Genome-Factory（定位类比 NLP 中的 LLaMA-Factory）提供了一个覆盖基因组模型数据构建、微调、推理、基准评测与机制解释的 Python 开源库，所有功能均可通过 YAML 配置驱动的命令行（genomefactory-cli）或 Gradio WebUI 调用。

六个核心功能模块： 框架将完整工作流拆解为六个解耦模块：

Genome Collector（数据采集与质控）： 支持从 NCBI 按物种 Taxonomy ID 或链接自动下载基因组，内置三类数据集构建管线（基于信号峰值的组蛋白修饰高/低富集区二分类、增强子与非重叠背景配对、启动子与非起始区配对）。质控流程包含序列长度过滤、GC 含量归一化、未知碱基 N 剔除，以及筛除碱基组成偏离期望分布的卡方检验（$\chi^2$ test）。
Model Loader（模型与分词加载）： 基于 HuggingFace 接口统一封装判别式模型（HyenaDNA、DNABERT-2、Caduceus、Nucleotide Transformer、GROVER）与生成式模型（EVO、GenomeOcean）及其对应分词器，按任务自动挂载分类/回归头或外部适配器。
Model Trainer（多策略微调）： 支持全参数微调（Full）、LoRA（默认 $r=8, \alpha=32$）和 Adapter（冻结主干，在顶部接入隐层维数 $256$ 的 MLP 或 CNN），并支持针对不同架构定制 LoRA 作用层（如在 DNABERT-2 / Caduceus / NT / GenomeOcean 中注入 FFN，在 HyenaDNA 中注入输入/输出投影层，在 7B EVO 中仅注入注意力 $Q/K/V$ 矩阵）。训练集成 FP32/FP16/BF16 混合精度、FlashAttention、梯度累积、梯度裁剪与多卡 DDP；分类采用交叉熵损失，回归采用均方误差损失（MSE）。
Inference Engine（推理引擎）： 提供统一的序列嵌入提取（输出末层 [CLS] 或均值池化隐状态）与基于提示词的自回归 DNA 序列生成接口。
Benchmarker（标准化评测）： 内置 GUE、Genomic Benchmarks、GUANinE 与长程基准 LRB，同时提供 6 类传统生物信息学基线（4-mer/6-mer SVM 与随机森林 RF、One-hot CNN、结合 PWM 扫描的 RF/SVM 及 HMM）；支持按 sequence, label 双列 CSV 格式接入自定义任务，自动记录 Accuracy / F1 / Precision / Recall / MCC 或 MSE / MAE。
Biological Interpreter（稀疏自编码器解释器）： 先提取预训练模型的序列嵌入，在嵌入上以重建损失与稀疏约束训练高维稀疏自编码器（SAE，如隐层维数 $d_{\text{hidden}}=4,096$）以获取近单义隐单元；随后通过岭回归或逻辑回归探针将隐单元激活与外部生物学属性（如序列长度、ENCODE ChIP-seq 测得的 CTCF 结合峰）进行回归关联与逐神经元置零消融，从而为隐单元赋予生物学解释。