AI for bio papers of ICML2026.
本文目录:
1. 基因组学
- dnaHNet / DNAChunker / LDARNet:层级可学习动态分块的基因组基础模型
- BioToken / BioFM:生物注释感知的标记化与高效基础模型
- OpticalDNA:把 DNA 当作 OCR 文档的视觉建模
- SPU-DNA:协同可塑性单元与时频多分辨率建模
3. 蛋白质组学
- ProtDiS:知识引导分解与跨通道去冗余的蛋白质结构表征
- SLAE:严格局部全原子编码与能量监督的蛋白质表征自编码器
- APT:全局层级词元与前缀自适应的蛋白质结构标记化
- PRISM:胚系来源分解与位置门控的抗体语言模型
- ProtoMech:跨层稀疏转码与归因图的蛋白质语言模型电路追踪
- Induction Meets Biology:生化相似性与跨重复复制的蛋白质语言模型机制分析
- PAR:多尺度自回归与条件流匹配的蛋白质骨架生成
- BioDynaSpec:独立窗口频谱分解与谐波空间耦合的蛋白质动力学生成
- IT-Opt:嵌入空间优化与能量重加权的实验约束蛋白质系综生成
- CalPro:生物先验证据建模与结构感知敏感度分析的蛋白质结构误差校准
- Chamaileon:上下文联合建模与混合路径采样的跨状态结合蛋白设计
- TD3B:方向监督与亲和力门控的变构结合蛋白离散扩散设计
- FIDIA:功能奖励与排序策略梯度的 Best-of-N 对齐逆折叠
- CodeFP:功能结构检索与局部语义监督的蛋白质序列—结构共生成
- DPLM-Evo:潜在对齐与上下文进化噪声的变长蛋白质编辑扩散
- LineageFlow:祖先谱系先验与中途重路由的家族感知蛋白质序列生成
- SWITCHCRAFT:可组合多态约束与结构预测反向传播的状态切换蛋白质设计
- MOMST:历史记忆自对比与帕累托对齐的多目标蛋白质测试时设计
- Proteo-R1:多模态残基推理与稀疏锚点条件化的抗体序列—结构共设计
5. 单细胞组学
- Beyond Independent Genes: Learning Module-Inductive Representations for Single-Cell Gene Perturbation Prediction
- Learning Adaptive Perturbation-Conditioned Contexts for Robust Transcriptional Response Prediction
- Needles in the Haystack: Addressing Signal Dilution Improves scRNA-seq Perturbation Response Modeling and Evaluation
- PerturbDiff: Functional Diffusion for Single-Cell Perturbation Modeling
- What Makes a Representation Good for Single-Cell Perturbation Prediction?
- scCBGM: Single-Cell Editing via Concept Bottlenecks
- scDEBART: Predicting in silico Single-Cell Perturbation Responses via Large-Scale Differential Expression Learning
- ScDiVa: Masked Discrete Diffusion for Joint Modeling of Single-Cell Identity and Expression
- Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models
- CountsDiff: A diffusion model on the natural numbers for generation and imputation of count-based data
- Beyond Continuity: Simulation-free Reconstruction of Discrete Branching Dynamics from Single-cell Snapshots
- CellBRIDGE: Learning Cellular Trajectories via Interaction-Aware Alignment
- Leveraging Lineage Barcodes as Natural Augmentations for Contrastive Learning of Cell Fate in scRNA-seq Data
- Trajectory Seriation via Spectral Tangent Alignment and Global Embedding
- HDTree: Generative Modeling of Cellular Hierarchies for Robust Lineage Inference
- Modeling Temporal scRNA-seq Data with Latent Gaussian Process and Optimal Transport
- MMtSBM:多边缘时序 Schrödinger 桥匹配
- WLM:从时序快照学习 Wasserstein 拉格朗日力学
- Bipartite Graph Attention-based Clustering for Large-scale scRNA-seq Data
- InfoGlobe: Local-and-Global Information-Preserving Statistical Manifold Learning for Single-Cell Transcriptomics
- VBA: Vector Bundle Attention for Intrinsically Geometric Representation Learning
- CONTEXTOR: Contextualized High-order Contrastive Learning
6. 影像组学
- Beyond Instance-Level Self-Supervision in 3D Multi-Modal Medical Imaging
- M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model
- Rethinking Federated Prompt Learning for Medical Images: From Textual Tuning to Visual Manifold Anchoring
- Foundation VAE for CT Reconstruction, Augmentation, and Generation
7. 空间组学
- FLAG: Foundation model representation with Latent diffusion Alignment via Graph for spatial gene expression prediction
- HEXST: Hexagonal Shifted-Window Transformer for Spatial Transcriptomics Gene Expression Prediction
- HiST: A Hierarchical Sparse Transformer for Cross-Modal Spatial Transcriptomics Modeling
- MoLF: Mixture-of-Latent-Flow for Pan-Cancer Spatial Gene Expression Prediction from Histology
- Transitive Representation Learning Enhances Histopathology Annotation
8. 多组学模型
1. 基因组学
1.1 DNA 标记化与基因组基础模型
⚪ dnaHNet / DNAChunker / LDARNet:基于余弦路由与压缩率约束的动态分块基因组基础模型
- paper:dnaHNet: A Scalable and Hierarchical Foundation Model for Genomic Sequence Learning
- paper:DNAChunker: Learnable Tokenization for DNA Language Models
- paper:LDARNet: DNA Adaptive Representation Network with Learnable Tokenization for Genomic Modeling
针对 DNA 序列缺乏显式词汇边界、固定分词易割裂调控元件而单碱基分词计算开销过高的问题,dnaHNet、DNAChunker 与 LDARNet 引入 H-Net 的“编码器—主网络—解码器”层级动态分块架构,在预训练中联合学习上下文表征与自适应词元边界。三者在特征路由、解块还原与压缩率约束上共用同一套数学机制:
-
余弦不相似度路由与下采样: 编码器利用状态空间模型(Mamba 系列)提取当前层级的上下文隐状态 $h_t \in \mathbb{R}^D$,线性投影为查询 $q_t = W_q h_t$ 和键 $k_t = W_k h_t$,由相邻特征的余弦不相似度计算边界概率 $p_t \in [0, 1]$ 与离散边界指示符 $b_t$:
\[p_t = \frac12\big(1 - \mathrm{CosineSim}(q_t, k_{t-1})\big), \quad b_t = \mathbf{1}[p_t > 0.5].\]分块层直接抽取 $b_t=1$ 位置的隐状态送入深层主网络;前向离散采样配合直通估计器(STE)与解码端的概率门控平滑将梯度回传至 $p_t$。
- 解块(Dechunking)与分辨率还原: 主网络处理完压缩序列后,解码器分两步恢复至单碱基分辨率:先以边界概率 $p$ 为门控权重,对相邻分块表示做线性递归平滑(EMA 或线性扫描)以消除离散切分伪影并提供梯度通路;再按累计边界计数索引 $j(t)=\sum_{k=1}^t b_k$,将平滑后的 chunk 表示广播复制回对应的原始碱基位置。
-
Ratio Loss 压缩率约束: 为防止路由退化为全选或全不选,三者均在主损失 $\mathcal L_{\text{LM}}$ 上联合优化 Ratio Loss,约束第 $s$ 级实际离散选中率 $F_s=\frac{1}{L}\sum_{t=1}^L b_t^{(s)}$ 与平均边界概率 $G_s=\frac{1}{L}\sum_{t=1}^L p_t^{(s)}$ 趋近目标压缩率 $R_s$(目标保留率 $\alpha_s = 1/R_s$):
\[\mathcal L = \mathcal L_{\text{LM}} + \lambda \sum_s \frac{R_s}{R_s-1}\Big((R_s-1)F_sG_s + (1-F_s)(1-G_s)\Big).\]反向传播中不可导的 $F_s$ 视为常数,对可导项 $G_s$ 求偏导可得:
\[\frac{\partial \mathcal L_{\text{rate}}^{(s)}}{\partial G_s} \propto (R_s-1)F_s - (1-F_s) = R_s F_s - 1.\]当 $F_s > 1/R_s$ 时导数为正,梯度下降压低 $G_s$ 以减少过阈值位置;当 $F_s < 1/R_s$ 时导数为负,梯度拉高 $G_s$ 以增加分块数;当 $F_s = G_s = 1/R_s$ 时导数为零,从而在不干预具体切分位置的前提下维持目标压缩比。
三项工作的差异体现在预训练范式、主干架构、掩码防泄露策略及解块平滑顺序上:
1. dnaHNet

单向因果自回归与容量重分配: dnaHNet 采用单向自回归下一词元预测($\mathcal L_{\text{NLL}}=-\sum_{t=1}^L\log P_\theta(x_t\mid x_{<t})$)。编码器与解码器对称采用因果 Mamba 与滑窗 Transformer 的混合结构,并提高外层编解码器的参数占比以适配局部基因组语法。
生物学先验驱动的两级压缩: 模型采用两级递归嵌套结构,设定目标压缩率 $R_1=3, R_2=2$。第一级对齐编码区的三联体密码子周期性;第二级基于密码子对偏好(codon pair bias)聚合相邻密码子,建模启动子与基因间区等长程依赖。
单向平滑与按需触发推理: 解码器还原时,先沿时间轴做单向递归插值平滑 $\bar e_j=P_j\hat e_j+(1-P_j)\bar e_{j-1}$(其中 $\hat e_j$ 为主网络输出的第 $j$ 个分块表征,$P_j$ 为对应边界概率),再复制扩展回单碱基位置。自回归推理时,若 $b_t=0$ 仅将当前碱基累积至外层编码器状态;仅当 $b_t=1$ 触发边界时,才将累积的 chunk 送入主网络与解码器更新分布并采样。
2. DNAChunker

双向编码与均值索引位置编码: DNAChunker 采用双向掩码语言模型(MLM)目标并做两级分层压缩。每级编解码器采用 BiMamba,主网络为双向 Transformer,其 RoPE 位置编码直接取每个 chunk 覆盖碱基的平均索引坐标。
掩码保护与残差门控: 针对 MLM 中的预训练伪影与信息泄露,模型引入两项约束:(1)Mask Protection:在每个 [MASK] 前后强制切出硬边界,使其在各级均保持为孤立的单例 chunk,防止路由网络利用人工掩码走分段捷径;(2)Masked Residual Gating:解码器虽引入同级编码器残差以补充局部细节,但凡是包含 [MASK] 的分段,其编码器残差均强制置零,防止 BiMamba 混合的邻近碱基信息直接泄露给解码器而绕过主网络。
后置双向扫描与重复序列降权: 解码器先按累计边界计数将第 $s$ 级分块表示 $z^{(s)}$ 复制广播回目标长度 \(\tilde z_t^{(s+1)}=z^{(s)}_{\sum_{k=1}^t b_k^{(S-s)}}\),再以边界概率 $p$ 为门控执行前向与后向线性扫描($\mathrm{SCAN}$)并取平均:
\[z_t^{(s+1)}=\frac12\left(\mathrm{SCAN}_\rightarrow(\tilde z^{(s+1)},p)_t+\mathrm{SCAN}_\leftarrow(\tilde z^{(s+1)},p)_t\right).\]训练时降低 RepeatMasker 注释的重复序列区 MLM 损失权重,以减少简单重复片段对表征容量的占用。
3. LDARNet

全 BiMamba-2 骨干与投影权重共享: LDARNet 在双向 MLM 下采用单级压缩,主干不使用全局 Transformer。编码器由 BiMamba-2 与局部自注意力组成,主网络与解码器均采用 BiMamba-2。BiMamba-2 对输入 $X$ 施加填充掩码 $M$ 后,沿正向与翻转时间轴($\mathrm{flip}_T$)分别运行 Mamba-2($\mathrm{M2}$)并取均值:
\[Y=\frac12\left[\mathrm{M2}(X\odot M)+\mathrm{flip}_T(\mathrm{M2}(\mathrm{flip}_T(X\odot M)))\right].\]前向与反向分支共享输入/输出线性投影权重;预训练施加反向互补(RC)数据增强,并对编解码器施加按压缩比 $N$ 与内外维度比缩放的学习率放大($\eta_{\text{outer}}=\eta_{\text{base}}\sqrt{N\cdot d_{\text{back}}/d_{\text{outer}}}$)以补偿分块梯度衰减。
双向对称余弦路由与前置双向 EMA: 为降低 [MASK] 对局部相似度的干扰,路由端将 $W_q, W_k$ 初始化为单位矩阵,同时计算相邻位置的前向与后向余弦相似度并取均值:
\[\begin{aligned} &s_t^{\mathrm{fwd}}=\cos(q_{t-1},k_t),\quad s_t^{\mathrm{bwd}}=\cos(q_t,k_{t-1}),\\ &\bar s_t=\frac12(s_t^{\mathrm{fwd}}+s_t^{\mathrm{bwd}}),\quad p_t=\frac12(1-\bar s_t). \end{aligned}\]解块端先在压缩序列 $z_j$ 上执行前向与后向指数移动平均(EMA)平滑并取平均:
\[\begin{aligned} &\bar z_j^{\mathrm{fwd}}=p_jz_j+(1-p_j)\bar z_{j-1}^{\mathrm{fwd}},\quad \bar z_j^{\mathrm{bwd}}=p_jz_j+(1-p_j)\bar z_{j+1}^{\mathrm{bwd}},\\ &\bar z_j=\frac12(\bar z_j^{\mathrm{fwd}}+\bar z_j^{\mathrm{bwd}}), \end{aligned}\]最后按累计边界计数索引 $j(t)=\sum_{k=1}^t b_k$ 将平滑表示 $\bar z_{j(t)}$ 逐段常数广播回原序列长度。
⚪ BioToken / BioFM:融合遗传变异与基因结构注释的基因组基础模型
针对现有基因组语言模型将 DNA 视为纯核苷酸序列、缺失诠释遗传变异所需的基因结构与调控上下文的问题,该工作提出生物注释感知的分词框架 BioToken,将遗传变异与功能结构注释统一编码进词表,并训练了自回归基础模型 BioFM。

变异与注释词表及自回归预训练: 在 BioToken 词表中,单核苷酸变异(SNV)和插入用特殊变异词元 $\check{\mathrm{A}},\check{\mathrm{G}},\check{\mathrm{C}},\check{\mathrm{T}}$ 替换原碱基;基于 GENCODE 的基因结构注释则通过成对的起止特殊词元(标记转录本、外显子和编码区 CDS 边界)直接插入序列对应位置。BioFM 基于带分组查询注意力(GQA)与长程 RoPE 的自回归 Transformer 解码器架构,在写入真实个体分相变异与注释的千人基因组全基因组序列上采用下一词元预测目标预训练:
\[\mathcal L=-\sum_t\log p_\theta(x_t\mid x_{<t}),\]其中 $x_t$ 可为核苷酸、变异词元或注释词元。训练时施加反向互补增强,同时翻转并仅保留链特异的注释边界。
下游双向特征拼接与受控生成: 为弥补单向因果解码器缺失下文的限制,下游变异效应预测在提取特征时采用双向拼接策略:分别截取以目标变异为终点的上游正向序列和下游反向互补序列,将两者的末位变异词元表示取平均,再将参考序列($\mathbf{e}^{\text{ref}}$)与突变序列($\mathbf{e}^{\text{mut}}$)的平均表示拼接为 $[\mathbf{e}^{\text{ref}} \parallel \mathbf{e}^{\text{mut}}]$ 输入线性分类器;此外,模型支持通过条件提示词微调(如 <基因序列> P <启动子序列>)实现合成启动子等调控序列的从头生成。
⚪ OpticalDNA:基于多模态文档渲染与 OCR 的基因组视觉建模
针对一维序列模型处理长基因组时需逐词元扫描大段低信息密度背景区域、计算开销随长度快速增长的问题,OpticalDNA 将一维 DNA 序列($S=(s_1,\dots,s_N), s_i\in{\mathrm{A,C,G,T,N}}$)转化为二维图像文档,利用高压缩比视觉 token 实现区域级阅读、定位与检索。

DNA 文档渲染与六类 OCR 任务: 模型将长序列按行连续光栅化为无辅助标记的多页固定分辨率 RGB 图像文档:
\[D(S)=\left(\{\text{page}_p\}_{p=0}^{P-1},\{B^{(p)}\}_{p=0}^{P-1}\right),\]每页标注列表 $B^{(p)}$ 为每个碱基记录字符、全局索引和像素级边界框 $b_k^{(p)}=(c_k^{(p)}, g_k^{(p)}, r_k^{(p)})$,建立从一维序列区间 $(i,j)$ 到二维页面区域 $b_{ij}=[\text{img_id},x_1,y_1,x_2,y_2]$ 的双射映射 $\Phi$。预训练围绕基因组原语构造六类多模态问答任务:T1 自由全文转录、T2 逐行转录与空间定位、T3 给定感兴趣区域(ROI)框转录、T4 掩码区域涂白补全、T5 查询子序列检索与多处定位、T6 染色体分类。
视觉压缩编码与自回归文档解码: 视觉编码器 $E_\theta$ 利用视觉前端 $V(\cdot)$ 提取每页图像 patch 特征,经卷积层沿 token 维做 $16\times$ 下采样及投影器 $\Pi_\theta$ 映射后,得到单页特征 \(\tilde U = \Pi_\theta(V(\{\text{page}_p\})) \in \mathbb{R}^{P\times T\times d}\)。随后由多页融合模块 $F_\theta$(自注意力加跨页均值池化)聚合成固定长度 $L$ 的文档级视觉表示:
\[Z=E_\theta(\{\text{page}_p\}_{p=0}^{P-1})=F_\theta(\tilde U)\in\mathbb R^{L\times d}.\]解码端 $G_\psi$ 采用混合专家(MoE)自回归解码器,在视觉表示 $Z$ 和指令 $q$ 条件下生成输出序列 $\hat Y$:
\[P_\psi(\hat Y\mid Z,q)=\prod_{t=1}^{T}P_\psi(\hat y_t\mid\hat y_{<t},Z,q).\]训练策略与下游探针适配: 预训练仅对回答区间计算交叉熵损失,配合尾部区域随机截断涂白与提示词长度课程退火;训练时冻结视觉前端,全参更新 $F_\theta$ 并对 $G_\psi$ 与 $\Pi_\theta$ 做 LoRA 微调。下游任务直接丢弃解码器,用冻结的视觉编码器提取多页特征,经均值池化与展平后输入轻量线性探针或浅层 MLP 预测头。
⚪ SPU-DNA:结合多尺度局部卷积与时频全局滤波的基因组建模
针对固定感受野的静态卷积与纯时域注意力难以同时兼顾基因组局部 motif、长程调控依赖与周期性信号的问题,SPU-DNA 提出协同可塑性单元(SPU),将局部可塑性层(LPL)、域可塑性层(DPL)与显著性可塑性层(SPL)组合为单一算子,实现局部—全局、时域—频域的多分辨率表征。

多尺度局部聚合与时频双域滤波(LPL & DPL): 给定输入 $E\in\mathbb{R}^{B\times L\times D}$,LPL 使用 $T$ 个不同核宽的静态卷积提取多尺度特征 $F_i=\mathrm{Conv}(k_i,E)$,同时由 $1\times1$ 卷积生成位点相关的混合权重 $m_{j,i}$,逐位置动态聚合感受野:
\[F_{\mathrm{lpl},j}=\sum_{i=0}^{T-1}m_{j,i}F_{i,j}.\]DPL 并行包含时域与频域两条路径:时域路径以 $F_{\mathrm{lpl}}$ 为 AdaLN 条件,经 MLP 生成复数滤波器并乘上对称指数衰减窗得到长卷积核 $p$,利用快速傅里叶变换(FFT)执行非因果全局卷积:
\[\hat F_{\mathrm{lpl}}=\mathrm{CenterCrop}_L\!\left(\mathrm{iFFT}\big(\mathrm{FFT}(F_{\mathrm{lpl}})\odot\mathrm{FFT}(p)\big)\right).\]频域路径对 $F_{\mathrm{lpl}}$ 逐级做小波分解 $(P_i^l,P_i^h)=\mathrm{WT}(P_{i-1}^l)$($P_0^l=F_{\mathrm{lpl}}$),在各高频子带与最底层低频子带上分别做全局卷积得到 $\hat P_i^h$,再以可学习尺度 $\gamma_i$ 逐级逆小波变换($\mathrm{IWT}$)重构并累加回时域特征:
\[\tilde P_i^l=P_i^l+\mathrm{IWT}(\gamma_i\tilde P_{i+1}^l,\hat P_{i+1}^h),\quad F_{\mathrm{dpl}}=\hat F_{\mathrm{lpl}}+\mathrm{IWT}(\gamma_0\tilde P_1^l,\hat P_1^h).\]显著性门控调制与训练配置(SPL): SPL 从通道和空间位置两个维度计算门控权重:通道分支沿位置轴均值池化后经 MLP 得到 $S_c$,位置分支沿通道轴拼接均值与最大值后经深度可分离卷积得到 $S_p$,广播后逐元素调制 DPL 的输出:
\[F_{\mathrm{out}}=F_{\mathrm{dpl}}\odot S_c\odot S_p.\]主干网络将 SPU 与前馈层交替堆叠,单层复杂度控制在 $\mathcal{O}(L\log L)$。模型以单核苷酸分词执行 MLM 预训练;下游分类任务直接微调,长程变异效应预测则通过比较参考与突变序列的位点邻域嵌入完成。
⚪ BIOARC:面向生物基础模型的异构神经架构搜索与多智能体架构推理框架
针对生物序列基础模型直接照搬自然语言处理中的同构 Transformer 架构、缺乏兼顾基因组或蛋白质长程上下文与局部功能基序(motif)归纳偏置的问题,BIOARC 提出基于权重共享超网的异构神经架构搜索框架,在包含五种算子原语的开放搜索空间中自动发现轻量级混合骨干网络,并结合多智能体系统为未知生物任务直接推理最优拓扑。

异构搜索空间构建与代表性采样剪枝: 框架定义包含 CNN、LSTM、Transformer、Mamba 与 Hyena 五类基础算子的模块集 $\mathcal M$。深度为 $d\in\mathcal D$ 的候选架构路径 $a=(h, m)$ 由算子类型序列 $m=(m_1,\dots,m_d)\in C_{\text{type}}^{(d)}$ 与隐藏层维度序列 $h=(h_1,\dots,h_d)\in C_{\text{dim}}^{(d)}$ 共同决定(第 $i$ 层算子将输入从 $h_{i-1}$ 维映射至 $h_i$ 维,$h_0$ 为固定嵌入维),总搜索空间表示为各深度下维度与类型配置的笛卡尔积并集:
\[\mathcal A = \bigcup_{d\in\mathcal D}\left(C_{\text{dim}}^{(d)} \times C_{\text{type}}^{(d)}\right).\]为防止组合爆炸并避免均匀采样偏向冗余拓扑,方法采用三步剪枝策略提取代表性候选子集:(1)单调宽度约束:强制维度非递减($h_i \ge h_{i-1}$)且末层固定为最大维度,使高容量模块出现在更多合法路径中以在超网训练时获得更高采样频率;(2)对数距离过滤:在以 $2$ 为底的对数维度空间计算两条维度路径 $h’_a, h’_b$ 的欧氏距离,仅保留与已有代表路径距离不低于阈值 $\tau$ 的候选:
\[D(h'_a, h'_b) = \sqrt{\sum_{i=0}^d \big(\log_2(h_{i,a}) - \log_2(h_{i,b})\big)^2} \ge \tau;\](3)K-Means 质心聚类:将算子类型路径与维度路径分别做独热编码展平后运行 K-Means 聚类,选取距离各簇质心最近的真实离散路径构成最终搜索空间 $\mathcal A$。
单路径一次性超网预训练与解耦评估排序: 记搜索空间中所有唯一算子层(由模块类型及输入/输出维度唯一确定)构成的集合为 $\mathcal L={l \mid \exists a\in\mathcal A, l\in a}$,超网总参数集定义为 $W=\bigcup_{l\in\mathcal L} W_l$,任意候选路径 $a$ 的参数即为其共享子集 $w(a)={W_{l_i}\mid l_i\in a}\subseteq W$。预训练采用单路径一次性(SPOS)策略:每个训练步从 $\mathcal A$ 中均匀采样一条路径 $a$ 激活前向传播,在无标注语料 $X$ 上最小化自监督损失 $\mathcal L$(支持掩码建模 MM、对比学习 CL 或下一词元预测 NTP)的期望以防止算子协同适应:
\[\min_W \mathbb E_{a\sim\mathcal A}\Big[\mathcal L\big(\mathcal A(X; w(a))\big)\Big].\]在下游任务集 $T$ 评估阶段,为消除共享权重的路径间干扰,每条候选架构继承超网权重 $w(a){\text{init}}\subset W$ 后在各任务数据 $X{\text{task}}$ 上独立微调($\min_{w(a)}\mathcal L_{\text{task}}(\mathcal A(X_{\text{task}}; w(a)))$)。随后对候选架构 $a$ 在任务 $t$ 上的原始指标 $P_t(a)$ 按候选集均值 $\mu_t$ 与标准差 $\sigma_t$ 做 Z-score 标准化,计算跨任务聚合得分:
\[\mathrm{Score}(a) = \frac{1}{|T|}\sum_{t\in T} s_t \cdot \frac{P_t(a) - \mu_t}{\sigma_t},\]其中方向系数 $s_t\in{1,-1}$ 对齐优化方向(准确率等正向指标取 $1$,误差类指标取 $-1$)。排序榜首的架构 $a^{*}$ 进一步从随机初始化开始独立预训练与微调,构建生物基础模型 BIOARC-F。
生物语法层级捕获与跨任务架构预测: 在人类 DNA 任务上,搜索收敛出的最优拓扑遵循“Hyena(首层)$\to$ Transformer(中层)$\to$ CNN(末层)”的混合范式(蛋白质任务则收敛为“LSTM/Transformer $\to$ CNN”)。分析表明首层 Hyena 编码全局背景与 GC 含量趋势,中层 Transformer 锚定转录起始位点(TSS)功能边界与空间语法,末层 CNN 则同步激活起始子(Inr,$-2\sim+5$)与下游启动子元件(MTE/DPE,$+18\sim+32$),无监督重现了 Inr+DPE 间距协同调控规则。

1.2 训练目标、可解释性与评测
⚪ Gamba:融合跨物种进化速率预测与序列重建的基因组预训练框架
- paper:Predicting evolutionary rate as a pretraining task improves genome language model representations
针对纯序列重建(NTP 或 MLM)易受大段非功能背景序列干扰而难以捕捉生物功能约束的问题,Gamba 将比较基因组学中的单碱基进化速率 PhyloP 分数作为预训练监督信号,使模型在仅输入单条 DNA 序列(推理时无需多序列比对 MSA)的条件下学习跨物种进化约束。

双范式进化速率预测与不确定性建模: 论文提出两种与序列重建在输入形式上对齐的进化速率预测任务:(1)CEP(Current Evolution Prediction):在单向自回归设定下,用位置 $i$ 及其上游序列 $x_{1:i}$ 预测位置 $i$ 的 PhyloP 分数,与 NTP 对齐;(2)MEM(Masked Evolution Modeling):在双向设定下,随机遮蔽部分碱基,用双向上下文重建序列所有位置的 PhyloP 分数,与 MLM 对齐。模型顶部包含序列与进化速率两个线性头:进化头将位置 $i$ 的最终隐状态映射为高斯分布的均值 $\mu_i$ 与对数方差 $\log\sigma_i^2$,采用高斯负对数似然(GNLL)损失训练:
\[\mathcal L_{\mathrm{GNLL}}=\frac1N\sum_{i=1}^N\left[\frac12\log\max(\sigma_i^2,\epsilon)+\frac{(y_i-\mu_i)^2}{2\max(\sigma_i^2,\epsilon)}\right]+\text{const},\]其中 $y_i$ 为真实 PhyloP 分数,$\epsilon$ 为方差截断阈值;序列头输出 4 种碱基的 logits 并计算交叉熵损失 $\mathcal L_{\mathrm{CE}}$。总损失定义为 $\mathcal L=\mathcal L_{\mathrm{GNLL}}+\mathcal L_{\mathrm{CE}}$。
双架构实例化与零样本下游评估: 模型在剔除重复区与着丝粒的人类参考基因组上实例化为两类变体:基于因果 Transformer–Mamba 混合 MoE 架构的单向模型 ArGamba,以及基于反向互补等变 BiMamba 架构的双向模型 Bi-Gamba。下游采用零样本评估:功能区分离与 ATG 密码子语境分类对区域隐状态做均值池化后运行留一法最近邻(1-NN)检索;变异效应预测(VEP)则在正反双链上分别计算等位基因对数似然比(来自序列头)或变异位点预测进化速率(来自进化头)并取平均排序。
⚪ SAE-gLM:基于稀疏自编码器与特征共激活图谱的基因组模型解释框架
针对基因组语言模型内部神经元存在多义性(polysemanticity)与特征叠加(superposition)、难以直接对应生物学概念的问题,SAE-gLM 将预训练模型中间层的单碱基嵌入 $x\in\mathbb R^d$ 输入事后训练的 BatchTopK 稀疏自编码器(SAE),通过过完备字典($m\gg d$)与激活函数 $\sigma(\cdot)$ 将混杂表征分解为稀疏激活的近单义隐特征:
\[\hat x=W_{\mathrm{dec}}\sigma(W_{\mathrm{enc}}x+b_{\mathrm{enc}})+b_{\mathrm{dec}}.\]
三类生物学概念对齐指标: 为量化单个隐特征在位点 $s_i$ 的激活值 $f(s_i)$ 与基因组注释(基因结构、调控元件、重复序列等)的对应关系,方法设计了三类评估指标:
-
核苷酸级 Precision 与区间级 Recall 的修正 F1: 针对局部 motif 响应特征,二值化激活为 $\hat f(s_i)=\mathbf{1}[f(s_i)>0]$。Precision 计算激活位置落入注释碱基($a_i=1$)的比例,Recall 在连续注释区间($d\in D$)级计算(区间内至少激活一次即记为检出):
\[\mathrm{Precision} = \frac{\sum_{i=1}^L \mathbf{1}\{\hat f(s_i)=1 \wedge a_i=1\}}{\sum_{i=1}^L \mathbf{1}\{\hat f(s_i)=1\}}, \quad \mathrm{Recall} = \frac{|\{d\in D : \exists i\in d \text{ s.t. } \hat f(s_i)=1\}|}{|D|}.\] - 单变量稀疏探针(Sparse Probing): 针对全区域持续激活的特征,先按正负样本区的平均激活差筛选候选特征,再逐个训练单变量逻辑回归探针 $\mathrm{Probe}_{a,f}(s_i)=\sigma(w_f f(s_i)+b_f)$ 并计算最高 AUPRC。
- 稀疏事件激活富集分数(Sparse Event Activation): 针对转录起始位点(TSS)、起止密码子等点事件,在事件周围半径 $W$ 窗口内做高斯核平滑求平均激活 $\mu^{(+)}$,并与距离事件 $>W$ 的背景平均激活 $\mu^{(-)}$ 计算对数富集比 $S_{\mathrm{ratio}} = \log(\mu^{(+)}/\mu^{(-)})$。
共激活特征图谱与致病变异扰动: 为刻画特征间的高阶语义关联,模型在长序列上提取所有活跃特征的激活轨迹 $X\in\mathbb R^{F_{\text{live}}\times L}$,经滤波平滑、非负截断与下采样后,用近似最近邻(ANN)检索近邻特征,计算适合稀疏向量的连续 Tanimoto 系数构图并做对称度归一化($K_{\text{norm}}=D^{-1/2}KD^{-1/2}$):
\[K_{ij} = \frac{x_i x_j}{\|x_i\|^2 + \|x_j\|^2 - x_i x_j + \epsilon}.\]随后运行 Node2Vec 与 UMAP 生成特征图谱。在疾病变异分析中,模型计算突变序列($A_{f,i}$)与参考序列($R_{f,i}$)在变异周围窗口 $W$ 内的特征激活对数比 $\Delta_f = \log(\sum_{i\in W} A_{f,i} / \sum_{i\in W} R_{f,i})$,结合激活峰值窗口的位置权重矩阵(PWM)定位致病变异所破坏的调控特征。
⚪ GENEB:基于冻结线性探针与受控变量配对的基因组基础模型评测基准
针对现有基因组基础模型在各自选取的任务子集和微调协议下评测、难以横向对比的问题,GENEB 汇总了覆盖 13 个功能类别(组蛋白修饰、启动子、增强子、甲基化、剪接位点等)的 100 个 DNA 分类任务,对 40 个不同架构、分词策略和预训练语料的模型执行统一的冻结线性探针(probing)评测。

解耦探针协议与宏平均指标: 评估全程冻结预训练编码器,对序列隐状态做均值池化后训练逻辑回归分类器,从而将表示质量与下游微调超参解耦。每个任务均在 1-shot、10-shot 和 full-data 三种样本量下评估。单任务指标采用对类别不平衡稳健的马修斯相关系数(MCC),全局主指标定义为跨 $K=13$ 个功能类别(第 $k$ 类任务集合记为 $T_k$)的宏平均 MCC,以防止样本量大的类别主导总榜:
\[\mathrm{MacroMCC}=\frac1K\sum_{k=1}^K\mathrm{MCC}_k, \quad \mathrm{MCC}_k = \frac{1}{|T_k|}\sum_{t\in T_k}\mathrm{MCC}_t.\]
单变量受控配对与评测结论: 通过构建固定其余条件、仅改变架构、分词或语料中一项的受控模型配对,评测得出三项结论:
- 规模与性能解耦及物种域错配: 参数量与总体性能呈正相关,但同域模型中频繁出现小模型优于数倍规模大模型的现象;十亿级原核预训练模型在真核剪接位点任务上排名垫底,表明参数规模无法弥补预训练语料的物种域错配。
- 架构、分词与语料的任务依赖性: 受控对比下 Transformer 整体优于所评估的 Mamba 模型,编码器在多数配对中优于解码器,但状态空间模型在染色质可及性任务上表现更优;分词方式取决于下游任务粒度(剪接位点与染色质可及性偏好单碱基分词,甲基化偏好 k-mer,病毒识别偏好 BPE);多物种与真核基因精筛语料的迁移性能优于单一物种语料。
- 少样本性能退化与排名更替: 从 full-data 降至 10-shot 和 1-shot 时,所有模型的 MacroMCC 均大幅下降,且超过半数类别的榜首模型在少样本设定下发生更替,表明全量数据榜单不能直接指导少样本选型。
⚪ EDEN:面向宏基因组组装连续性与架构对比的缩放律分析及基础模型
针对线性复杂度模型与全局自注意力模型在高度异构的宏基因组序列上的缩放效率尚不明确的问题,EDEN 在经过质控过滤的宏基因组语料 BaseData 上,以单碱基分辨率系统对比了三类主流自回归架构的缩放特性,并据此训练了宏基因组基础模型 EDEN-28B。

语料组装质控与质量感知缩放律: 模型采用单核苷酸分词与重叠切窗,训练语料仅保留长读长、高基因密度与高测序深度的组装重叠群(contigs),并利用 DUSTmasker 剔除低复杂度片段及真核病毒同源序列。为对比架构缩放律,研究在固定词元预算下跨多个参数规模评估了三类自回归模型:标准全局自注意力架构(Llama3)、状态空间混合架构(Mamba-2-Hybrid)与长卷积混合架构(Striped Hyena)。在双对数空间下对收敛验证损失 $L$ 与计算量 $C$(FLOPs)做幂律拟合:
\[L(C)\propto C^{-\alpha}.\]实验表明幂律指数 $\alpha$ 依赖于数据组装连续性:长读长组装语料 BaseData 拟合出的缩放指数显著大于短读长碎片化语料 OpenGenome2,说明减少序列碎片化能提升单位算力的性能收益。

长程结构外推与精确语义检索权衡: 在超出训练窗口的长上下文生成评测中,Mamba 与 Hyena 能更平缓地维持编码密度与序列复杂度等统计结构,但受限于固定维度递归状态的记忆瓶颈,易出现偏离保守操纵子基因顺序的语义偏离;相反,Llama 依靠无损的全局词元级注意力,在罕见基因困惑度、管家基因序列补全折叠质量、RNAGym 零样本适应度预测及核糖体操纵子基因顺序恢复率上均优于混合线性架构。基于该结论,作者采用全注意力 Llama 架构在全量语料上训练出 EDEN-28B,其最终验证损失与缩放律预测曲线吻合。
⚪ Genome-Factory:覆盖基因组基础模型微调、评测与机制解释的统一工具链
针对不同基因组基础模型在依赖环境、分词接口与微调方式上碎片化的问题,Genome-Factory 提供了一个覆盖基因组数据构建、参数高效微调、推理、基准评测与稀疏自编码器解释的模块化开源框架。

数据采集质控与统一模型适配: 数据采集模块(Genome Collector)支持从 NCBI 自动下载物种基因组并构建组蛋白修饰、增强子与启动子分类数据集;质控管线执行序列长度过滤、GC 含量归一化、未知碱基 N 剔除,以及筛除碱基组成偏离期望分布的 $\chi^2$ 检验。模型加载与训练模块(Model Loader & Trainer)统一封装判别式模型(如 HyenaDNA、DNABERT-2、Caduceus、NT)与生成式模型(如 EVO、GenomeOcean),支持全参数微调、顶部 MLP/CNN Adapter 微调,以及针对不同主干算子定制注入位置的 LoRA 微调(如在状态空间模型中注入投影层、在 Transformer 中注入前馈层或注意力矩阵)。
标准化评测与稀疏自编码器解释: 推理与评测模块(Inference & Benchmarker)提供序列嵌入提取与条件自回归生成接口,内置多套基因组基准并提供传统生物信息学基线(k-mer SVM/RF、PWM 扫描与 HMM)。生物解释器模块(Biological Interpreter)提取预训练模型的序列嵌入,以重建损失与稀疏约束训练高维稀疏自编码器(SAE)获取近单义隐单元;随后通过岭回归或逻辑回归探针将隐单元激活与外部生物学属性(如 ENCODE ChIP-seq 测得的转录因子结合峰)进行回归关联与逐神经元置零消融,为隐单元赋予生物学功能解释。
1.3 基因调控网络
⚪ SupGCL:融合真实基因敲低扰动监督的基因调控网络图对比学习
针对传统图对比学习(GCL)中随机删点或删边易破坏基因调控网络(GRN)关键主调控因子拓扑的问题,SupGCL 引入真实基因敲低(knockdown)实验测得的扰动网络作为教师分布,构建了同时涵盖节点级与增强级关系的统一概率图对比学习框架。

| 虚拟敲低图增强与双视图编码: 记患者基因调控网络为有向图 $G=(V,E,X_V,X_E)$,其中节点特征 $X_{V:,i}$ 为基因 $i$ 的表达量,边特征 $X_{E:,k}=m_{ij}(x_j)$ 由基于 B-spline 非参数回归的贝叶斯网络结构学习估计得到。对应于第 $a$ 个基因敲低的人工增强算子将节点 $a$ 的特征及其关联的所有入边/出边特征置零,生成学生增强图 $G^a$;同时记真实敲低基因 $a$ 的实验数据构建的教师网络为 $H^a$($a\in\mathcal{K}$)。共享权重的 Graph Transformer 编码器 $f_\phi$ 分别提取两者的节点表示矩阵 $Z^a=f_\phi(G^a)\in\mathbb{R}^{ | V | \times d}$ 与 $Y^a=f_\phi(H^a)\in\mathbb{R}^{ | V | \times d}$。 |
| 节点与增强级联合概率对比损失: 在整图表示空间上,模型利用 Frobenius 内积余弦相似度 $\mathrm{sim}F(\cdot,\cdot)$ 与温度系数 $\tau_a$,定义增强操作对 $(a,b)$ 之间的教师参考分布 $p\phi(b | a)$ 与学生分布 $q_\phi(b | a)$: |
| 在节点级身份分布 $p(j | i)=\delta_{ij}$ 与图级增强分布 $p_\phi(a,b)$ 相互独立的假设下,节点—增强联合条件分布的 KL 散度损失分解为两项之和: |
| 其中 $U_{\mathcal K}(a)$ 为基因集合 $\mathcal K$ 上的均匀分布,$q_\phi^{a,b}(j | i) = \frac{\exp(\mathrm{sim}(z_i^a,z_j^b)/\tau_n)}{\sum_{k\in V}\exp(\mathrm{sim}(z_i^a,z_k^b)/\tau_n)}$ 为温度 $\tau_n$ 下的节点级对比分布。第一项以教师扰动相似度 $p_\phi(b | a)$ 为权重对节点级对比损失进行重要性加权,防止常数表征坍缩;第二项拉近人工虚拟敲低与真实生物敲低在整图嵌入空间中的关系分布。当 $\tau_a\to\infty$ 时,目标函数连续退化为传统无监督节点级 GCL。 |
2. 转录组学
2.1 RNA 基础模型
⚪ RNA-FM Transfer:基于参数位移轨迹与损失曲面几何的 RNA 基础模型迁移机制分析
针对 RNA 基础模型在下游任务中的收益究竟源于“冻结特征的通用可复用性”还是“微调过程中的优化先验”尚不明确的问题,该工作在涵盖二级结构预测、非编码 RNA 分类、核糖体负载回归与深度突变扫描(DMS)适应度预测的基准上,系统对比了单热编码线性基线(Onehot)、冻结预训练探针(Frozen)、随机初始化全参训练(RI-T)与预训练全参微调(PT-FT)四种设定。
参数位移与损失曲面平坦度诊断指标: 为量化微调动态与收敛解的几何性质,研究引入两项诊断度量:(1)逐训练周期追踪第 $l$ 个 Transformer 层参数偏离其初始权重的块级欧氏距离 $|\theta_l^{(t)}-\theta_l^{(0)}|2$;(2)采用滤波器范数归一化,在收敛参数 $\theta^*$ 邻域的二维随机正交方向 $(\delta,\eta)$ 上投影损失曲面 $f(\alpha,\beta)=L(\theta^*+\alpha\delta+\beta\eta)$,并计算锐度感知最小化(SAM)风格的局部扰动敏感度指标 $\Delta L{\mathrm{SAM}}$。
三项迁移机制实证结论:
- 冻结表征的任务依赖性与局部统计量抑制: 在预训练目标包含二级结构先验的结构任务上,预训练模型的冻结表示优于 Onehot 基线;但在依赖局部序列组成统计量的 ncRNA 分类任务上,简单的 Onehot 线性基线反超多数模型的末层冻结探针,表明纯 MLM 预训练在提取高层结构上下文时会压制局部序列统计信号。

- 层级特征复用假说在 RNA 上的失效: 逐层参数 $\ell_2$ 位移轨迹揭示了三种迁移模式:(1)对齐特征复用:包含显式二级结构预训练目标的模型在二级结构预测上浅层保持低位移且性能最优;(2)特征停滞:容量过小的模型虽表现为浅层权重几乎不变,但预测性能低于随机初始化(RI-T),属于无法逃逸的负迁移;(3)全局重配置:在预训练目标未显式对齐的功能与分布外(OOD)突变任务中,PT-FT 在包括浅层词元嵌入在内的所有层均发生全局参数重写,表明视觉领域“固定浅层、仅调深层”的范式在 RNA 功能迁移中不成立。

- 预训练作为导向平坦极小值的优化先验: 尽管功能任务上预训练特征被大面积覆写,PT-FT 依然优于 RI-T。损失曲面分析表明,当模型容量适中时,预训练权重充当了优化初始化先验,加速损失收敛并引导参数进入局部敏感度 $\Delta L_{\mathrm{SAM}}$ 更低、盆地更宽的平坦极小值区域;而容量过小的模型易陷入尖锐局部极小值,过度参数化模型在小样本微调时则易出现底层参数漂移与收敛失稳。

2.2 RNA 结构表示与设计
⚪ RiboSphere:结合有限标量量化与条件流匹配的离散 RNA 三维结构表征
针对实验解析的 RNA 三维结构数据稀缺、直接在连续潜空间建模易过拟合且难以对应模块化局部结构基元(如发夹环、内部环)的问题,RiboSphere 采用“浅层几何编码器 + 有限标量量化(FSQ)瓶颈 + 深层流匹配解码器”的非对称自编码器架构,将连续的 RNA 局部三维几何压缩为离散结构词元。

几何感知编码与有限标量量化(FSQ): 给定长度为 $L$、每核苷酸含 $A$ 个原子的三维坐标 $x\in\mathbb{R}^{L\times A\times 3}$,模型在零质心子空间中结合随机 $\mathrm{SO}(3)$ 旋转增强,将单残基展平坐标 $\tilde x_i$ 映射为初始特征 $h_i = \mathrm{MLP}{\mathrm{in}}(\mathrm{vec}(\tilde x_i))$。模型将分桶化的成对欧氏距离嵌入 $e{ij}^{\mathrm{dist}}$ 与截断相对位置编码 $e_{ij}^{\mathrm{pos}}$ 融合为成对几何偏置 $p_{ij} = \mathrm{MLP}{\mathrm{pair}}(\mathrm{LN}(e{ij}^{\mathrm{dist}}+e_{ij}^{\mathrm{pos}}))$,注入带滑动窗口的多头自注意力层提取上下文表示 $c_i \in \mathbb{R}^d$。随后,FSQ 通过双曲正切有界投影与四舍五入取整将每个通道 $k$ 量化为 $L_k$ 个离散水平(配合直通估计器 STE 回传梯度):
\[\hat c_{i,k} = \mathrm{round}\!\left(\lfloor L_k/2\rfloor \tanh(W_k c_i)\right), \quad \mathrm{idx}(\hat c_i) = \sum_{k=1}^d \tilde c_{i,k}\prod_{m<k} L_m,\]其中 $\tilde c_{i,k}$ 为平移至非负整数区间的量化值,通过混合基数枚举生成离散结构词元序列 $\hat c$。
条件流匹配三维重建: 解码器在零质心高斯先验 $x_0\sim\mathcal N(0,I)$ 与真实坐标 $x_1$ 的线性插值路径 $x_t = tx_1 + (1-t)x_0$($t\in[0,1]$)上,以离散词元 $\hat c$ 为条件训练速度向量场 $v_\phi(x_t,t,\hat c)$:
\[\mathcal L_{\mathrm{flow}} = \mathbb E_{x_0,x_1,t}\Big[\big\|v_\phi(x_t,t,\hat c) - (x_1 - x_0)\big\|_2^2\Big].\]推理阶段支持带无分类器引导的常微分方程(ODE)积分,或利用高斯流解析关系转换为得分函数 $s_\phi(x_t,t,\hat c)=\frac{t\cdot v_\phi(x_t,t,\hat c)-x_t}{1-t}$ 执行随机微分方程(SDE)采样。
下游逆折叠与配体结合迁移: 预训练后冻结编码器与量化器,将离散结构词元 $\hat c$ 迁移至下游任务:(1)RNA 逆折叠:通过双向几何适配器将融合了 $\hat c_i$ 与二级结构先验的标量特征 $h_i^{\mathrm{sca}}$ 和局部坐标系方向向量 $v_i\in\mathbb R^{K\times 3}$ 耦合为 $h_i^{\mathrm{geo}}=(h_i^{\mathrm{sca}},v_i)$,交由几何向量感知机(GVP)自回归解码器从 $5’$ 到 $3’$ 预测核苷酸分布 $p_\psi(s_i\mid \hat c,s_{<i})$;(2)RNA-配体结合预测:将 $\hat c$ 与一维序列嵌入 $e_{\mathrm{1D}}$、二维二级结构图特征 $e_{\mathrm{2D}}$ 拼接融合为 $h_{\mathrm{RNA}}=\mathrm{MLP}{\mathrm{fuse}}(\hat c\parallel e{\mathrm{1D}}\parallel e_{\mathrm{2D}})$,与配体图特征及空间距离构造成对特征张量,经三角注意力更新后预测结合概率。
⚪ CocoRNA:基于协作多智能体强化学习的 RNA 二级结构逆向设计
针对 RNA 二级结构逆向设计中联合序列—结构状态空间随长度指数级膨胀、传统在线搜索算法耗时过长的问题,CocoRNA 将该问题建模为分散式部分可观测马尔可夫决策过程(Dec-POMDP),在“集中式训练、分散式执行(CTDE)”范式下将序列设计拆解为多智能体协作求解的子任务。

序列—结构状态分解与局部窗口观测: 全局状态定义为当前核苷酸序列与点括号目标二级结构的组合 $s=(s_{\mathrm{seq}},s_{\mathrm{struct}})\in{\mathrm{A,U,G,C}}^\ell\times{\text{.'},\text{(‘},\text{`)’}}^\ell$。框架提供两种分解方案将任务分配给 $n$ 个协作智能体:按序列连续片段等分的基于位置分解(PBD),以及按茎区(stems)、环区(loops)等二级结构元件划分的基于结构类型分解(SBD)。每个智能体 $i$ 在步 $t$ 仅接收以当前位点为中心、半径为 $\kappa$ 的局部窗口观测:
MAPPO 集中式评估与配对硬约束掩码: 策略优化基于多智能体近端策略优化(MAPPO),各智能体维护独立的策略网络(Actor)与价值网络(Critic)。去中心化 Actor 根据局部观测输出四种碱基的概率分布 $\pi_{\theta_i}(a_t^i\mid o_t^i)$;当待填位点存在已分配碱基的配对伙伴时,环境施加硬约束掩码,仅允许符合 Watson-Crick(A-U、G-C)或摆动配对(G-U)规则的合法动作参与采样。集中式 Critic 在训练期接收完整全局状态 $s_t$,通过一维卷积提取全序列与全结构特征输出状态价值 $V_\phi(s_t)$,结合广义优势估计计算联合优势函数 $A(s,\mathbf a)$ 以更新策略梯度 $g=\mathbb E_\pi\big[\sum_i\nabla_{\theta_i}\log\pi_i(a_i\mid o_i)A(s,\mathbf a)\big]$。
阶梯结构奖励与搜索增强探索: 在每个时间步 $t$,环境调用折叠工具预测当前序列的二级结构 $x_f$,计算其与目标结构 $x_t$ 的汉明距离 $H_t=\sum_{i=1}^\ell\mathbf{1}(x_f^i\neq x_t^i)$。奖励函数结合步进距离缩减量与完全匹配终局奖励 $C>0$:
\[R_t = \begin{cases} (H_{t-1}-H_t)/\ell, & \text{if } H_t > 0, \\ C + r_{\mathrm{aux}}, & \text{if } H_t = 0, \end{cases}\]| 其中多目标辅助奖励 $r_{\mathrm{aux}}$ 仅在结构完全匹配($H_t=0$)时激活,用于约束目标 GC 含量($r_{\mathrm{GC}}=-\alpha | c_{\mathrm{GC}}-c_t | $)或降低最小自由能($r_{\mathrm{MFE}}=-\beta E$)。此外,训练前期引入搜索增强探索(SAE):智能体执行动作 $a$ 获得奖励 $r$ 后,执行一步局部贪心搜索检验备选动作 $a’$ 能否产生更高奖励 $r’$,若能则将经验池中的转移元组替换为 $(o,a’,r’)$。 |
⚪ ATL-FGD:结合自适应拓扑裁剪与 FiLM 跨模态蒸馏的三级结构 RNA 逆折叠
- paper:Learning Adaptive Topology with FiLM-Guided Distillation for Tertiary Structure-Based RNA Design
针对基于三级结构的 RNA 逆折叠中固定 $k$ 近邻图在序列边缘易引入噪声边、在核心区难以覆盖长程三级接触,且三维结构训练样本稀缺的问题,ATL-FGD 在消息传递神经网络(MPNN)骨干中引入逐层自适应拓扑学习(ATL)动态裁剪邻域连接,同时通过特征线性调制引导蒸馏(FGD)在训练期将大规模 RNA 语言模型的序列先验注入结构编码器。

自适应拓扑学习(ATL): 模型从每个核苷酸的 6 个骨架原子(${\mathrm{P,O5’,C5’,C4’,C3’,O3’}}$)坐标构建初始大候选边集 $\mathcal{E}$。在第 $\ell$ 层图网络中,给定当前节点隐状态 $h_i^{(\ell)}$ 与几何边特征 $e_{ij}$,模型将两端节点状态与边特征拼接,经轻量 MLP $f_\theta(\cdot)$ 与 Sigmoid 函数 $\sigma(\cdot)$ 计算边激活概率 $p_{ij}^{(\ell)}$:
\[r_{ij}^{(\ell)} = \mathrm{concat}\!\left(h_i^{(\ell)}, h_j^{(\ell)}, e_{ij}\right), \quad p_{ij}^{(\ell)} = \sigma\!\left(f_\theta(r_{ij}^{(\ell)})\right).\]训练阶段从均匀分布 $u_{ij}\sim\mathcal{U}(0,1)$ 采样伯努利二值门控 $m_{ij}^{(\ell)}=\mathbf{1}{u_{ij}<p_{ij}^{(\ell)}}$,并利用直通估计器(STE)构造可微掩码回传梯度:
\[\tilde m_{ij}^{(\ell)} = m_{ij}^{(\ell)} + p_{ij}^{(\ell)} - \mathrm{stopgrad}\!\left(p_{ij}^{(\ell)}\right).\]推理阶段切换为确定性阈值硬截断 $\tilde m_{ij}^{(\ell)}=\mathbf{1}{p_{ij}^{(\ell)}>\tau}$。第 $\ell$ 层消息传递在掩码边特征 ${\tilde m_{ij}^{(\ell)}\cdot e_{ij}}_{(i,j)\in\mathcal E}$ 上执行,以在不同网络深度动态保留关键长程接触并滤除伪连接。
FiLM 引导跨模态蒸馏(FGD): 为避免编码全序列上下文的语言模型教师特征 $h_{\mathrm{tea}}=E_{\mathrm{tea}}(Y_{\mathrm{true}})$ 与仅聚合局部几何邻域的学生 GNN 末层特征 $h_{\mathrm{stu}}=E_{\mathrm{stu}}(G)$ 因感受野失配而在直接逐点对齐时发生退化,FGD 通过两个独立的 FiLM 映射头 $g_{\mathrm{tea}}, g_{\mathrm{stu}}$ 分别生成逐通道缩放与偏移调制参数:
\[(\gamma_{\mathrm{tea}}, \beta_{\mathrm{tea}}) = g_{\mathrm{tea}}(h_{\mathrm{tea}}), \quad (\gamma_{\mathrm{stu}}, \beta_{\mathrm{stu}}) = g_{\mathrm{stu}}(h_{\mathrm{stu}}).\]模型利用 $\hat h_{\mathrm{stu}} = \gamma_{\mathrm{stu}}\odot h_{\mathrm{stu}} + \beta_{\mathrm{stu}}$ 调制学生特征后送入分类头预测碱基分布,并在训练中联合最小化序列恢复交叉熵损失与调制参数的均方误差蒸馏损失:
\[\mathcal L_{\mathrm{total}} = -\sum_{i=1}^L \log P\big(y_i = y_i^{\mathrm{true}}\big) + \alpha\Big(\|\gamma_{\mathrm{stu}}-\gamma_{\mathrm{tea}}\|_2^2 + \|\beta_{\mathrm{stu}}-\beta_{\mathrm{tea}}\|_2^2\Big).\]推理时完全移除教师语言模型分支,仅依赖学生网络生成的 $(\gamma_{\mathrm{stu}},\beta_{\mathrm{stu}})$ 完成特征调制与序列生成。
3. 蛋白质组学
3.1 蛋白质表示、标记化与语言模型
⚪ ProtDiS:知识引导分解与跨通道去冗余的蛋白质结构表征
ProtDiS 将混合几何、理化与拓扑信号的蛋白质微环境嵌入分解为知识专属通道与残余通道,以生物物理监督组织潜空间,再按功能任务选择性融合。
残基级知识对齐: 输入 $s$ 来自 ESM-3 结构标记器的残基中心微环境编码,共享 MLP 后接八个知识分支及残余分支:
\[Z_k=f_k(s),\quad Z_c=f_c(s),\quad \mathcal L_{\mathrm{sup}}=\sum_{k=1}^{K}\mathbb E_{s,y_k}\big[\ell(h_k(Z_k),y_k)\big].\]$K=8$,$h_k$ 预测对应标签 $y_k$。知识分支从共享中间表征分别投影,残余表征由共享网络继续映射得到;各分支配置独立预测头,监督按对应标签计算。监督覆盖二级结构、溶剂暴露、柔性、堆积密度、疏水环境、氢键相关稳定性、接触拓扑复杂度与 Ollivier–Ricci 曲率。标签由结构计算,不依赖功能数据库注释;DSSP 提供二级结构、可及面积及氢键信息,柔性用平均原子 B-factor,密度用加权接触数,复杂度用接触子图度分布的归一化熵。分类采用交叉熵,连续标签采用绝对误差。这些通道采用共同的残基尺度,可独立读取或组合使用,不把全局折叠类别作为知识分支的监督目标。
批级瓶颈与知识通道去相关: 信息瓶颈对应确定性、批级分布正则,而非逐样本随机变分编码。模型以批内均值和方差近似各知识通道的分布 $q(Z_k)$,将其约束到标准高斯,同时保持特征方差并抑制跨通道线性冗余:
\[\begin{aligned} \mathcal L_{\mathrm{KL}}&=\sum_{k=1}^{K}D_{\mathrm{KL}}\big(q(Z_k)\|\mathcal N(0,I)\big),\\ C_{ij}&=N^{-1}\tilde Z_i^{\top}\tilde Z_j,\\ \mathcal L_{\mathrm{red}}&=\lambda_{\mathrm{var}}\sum_{k=1}^{K}\mathbb E_d\big[(\mathrm{std}(Z_k^{(d)})-1)^2\big] +\frac{\lambda_{\mathrm{cov}}}{|\mathcal P|}\sum_{(i,j)\in\mathcal P}\|C_{ij}\|_F^2. \end{aligned}\]$N$ 是批内样本数,$d$ 是特征维度;$\tilde Z_k$ 按批内统计量标准化,方差项作用于标准化之前。$\mathcal P$ 仅包含不同知识通道的无序对,不包含 $Z_c$;去相关保留属性间可能存在的非线性关系。
信息保留与任务融合: 重建目标约束原始嵌入的信息保留,残余通道另接知识判别器与梯度反转,使其编码与预定义标签相区分的补充信息:
\[\mathcal L_{\mathrm{rec}}=N^{-1}\sum_n\|\hat s_n-s_n\|_1,\quad \mathcal L_{\mathrm{adv}}=\sum_{k=1}^{K}\mathbb E_{s,y_k}\big[\ell(d_k(R_{\lambda}(Z_c)),y_k)\big].\]$\hat s$ 是重建嵌入,$d_k$ 是判别器;$R_{\lambda}$ 前向保持恒等,反向翻转梯度。完整目标为
\[\mathcal L=\mathcal L_{\mathrm{sup}}+\lambda_{\mathrm{KL}}\mathcal L_{\mathrm{KL}}+\lambda_{\mathrm{red}}\mathcal L_{\mathrm{red}}+\lambda_{\mathrm{rec}}\mathcal L_{\mathrm{rec}}+\lambda_{\mathrm{adv}}\mathcal L_{\mathrm{adv}}.\]各 $\lambda$ 平衡监督与约束。下游先以轻量探针评估各通道的任务相关性,再用门控网络融合所选特征;蛋白质级任务由 CDConv 聚合几何和序列上下文,残基级任务保留节点表征进行预测。
⚪ SLAE:严格局部全原子编码与能量监督的蛋白质表征自编码器
SLAE 仅从原子类型与局部原子间几何学习残基嵌入,再以全局解码器联合恢复全原子结构、序列和残基间能量,将侧链堆积与化学环境纳入可迁移表征。
固定邻域内的等变张量积: 给定重原子坐标 $a_i$,模型按截断半径 $r_{\mathrm{cut}}$ 构建有向原子图,邻域记为 $\mathcal N(i)$。节点编码化学类型;边将距离展开为贝塞尔径向基,将单位方向展开为球谐函数,不显式输入氨基酸身份、残基序号或扭转角。每条边维护不变标量 $x_{ij}^{(\ell)}$ 与等变张量 $V_{ij}^{(\ell)}$:
\[V_{ij}^{(\ell)}=V_{ij}^{(\ell-1)}\otimes \left(\sum_{k\in\mathcal N(i)}w_{ik}^{(\ell)}\phi(\boldsymbol d_{ik})\right),\quad w_{ik}^{(\ell)}=\mathrm{MLP}_{\mathrm{embed}}^{(\ell)}(x_{ik}^{(\ell-1)}).\]$\boldsymbol d_{ik}=a_k-a_i$,$\phi$ 编码邻居几何,$\otimes$ 是等变张量积,权重由对应边的标量特征预测。中心—邻居对与中心原子的加权环境交互,张量积的标量输出再与旧标量拼接,经 MLP 及平滑截断包络更新。各层只组合中心原子固定邻域内的边,不靠多跳消息扩大感受野;最终取旋转、平移不变的标量。
原子到残基瓶颈与全局解码: 编码器先平均汇聚入边得到原子表征 $u_i$,再按残基 $q$ 的所属原子集合 $\mathcal A(q)$ 平均池化:
\[u_i=\frac{1}{|\mathcal N(i)|}\sum_{j\in\mathcal N(i)}x_{ij}^{(\ell_{\mathrm{enc}})},\quad z_q=\frac{1}{|\mathcal A(q)|}\sum_{i\in\mathcal A(q)}u_i.\]$\ell_{\mathrm{enc}}$ 表示编码器末层。两级归一化来自平均池化,残基归属仅用于聚合而非输入特征。全局 Transformer 解码器在残基间交换长程信息,分别输出骨架与侧链重原子坐标、氨基酸预测及残基对的氢键、静电、溶剂化能量。局部编码与全局解码形成非对称瓶颈,要求压缩的环境表征支持完整蛋白质重建。
几何、序列与能量联合监督: 坐标恢复只在目标中实际存在的原子上计算损失。可微全原子 SmoothLDDT 比较跨残基原子对距离;全原子框架对齐点误差(FAPE)以成键原子三元组建立局部坐标系,度量对齐后的原子偏差,并施加截断与稳健惩罚。总目标为
\[\mathcal L=w_{\mathrm{coord}}(\alpha\mathcal L_{\mathrm{SmoothLDDT}}+\beta\mathcal L_{\mathrm{FAPE}}) +w_{\mathrm{seq}}\mathrm{CE}(Y,\hat Y) +w_{\mathrm{energy}}\mathrm{MSE}(E,\hat E).\]$Y,\hat Y$ 是真实序列与预测,$E,\hat E$ 是 Rosetta 残基对能量与预测,各权重平衡监督。下游可读取原子、残基或蛋白质级表征;突变稳定性预测同时利用全局特征与突变位点的野生型—突变体表征差。连续嵌入也可经冻结编码器后的聚类和最近邻量化转换为离散结构词元。
⚪ APT:全局层级词元与前缀自适应的蛋白质结构标记化
APT(Adaptive Protein Tokenizer)以从粗到细的全局结构词元替代逐残基局部词元,用嵌套丢弃训练可截断前缀,再由条件扩散解码器生成结构细节。
全局编码与有序信息瓶颈: 输入为零质心的 $C_\alpha$ 坐标 $x_1\in\mathbb R^{L\times3}$,双向 Transformer 经全局注意力生成连续隐序列 $c$,有限标量量化(FSQ)将其离散化。训练随机选取前缀长度 $K$,掩去后续条件:
\[c=E(x_1),\quad \hat c=\mathrm{FSQ}(c),\quad K\sim\mathrm{Uniform}\{1,\ldots,\min(L,k_{\max})\},\quad \tilde c_i=\hat c_i\mathbf 1\{i\le K\}.\]$E$ 为编码器,$L$ 为残基数,$k_{\max}$ 为最大条件长度。前部词元更频繁地参与重建,因此优先承载整体尺寸、折叠等全局信息,后续词元增加精细几何,而非逐一对应局部残基邻域。编码器不强制几何等变性,训练以随机旋转增强学习相应对称行为;任意保留前缀都可作为同一解码器的条件。
条件拼接与联合重建目标: 解码器将带噪坐标嵌入与条件前缀沿词元轴拼接,执行联合注意力,只从坐标位置读出速度场并计算流损失。高斯噪声 $x_0$ 与目标坐标采用线性插值:
\[\begin{aligned} x_t&=(1-t)x_0+tx_1,\quad x_0\sim\mathcal N(0,I),\\ \mathcal L&=\mathbb E\big[\|v_\theta(x_t,t,\tilde c)-(x_1-x_0)\|_2^2\big] +\lambda_{\mathrm{size}}\mathcal L_{\mathrm{size}}. \end{aligned}\]$t\in[0,1]$,$v_\theta$ 为条件速度场;$\mathcal L_{\mathrm{size}}$ 是从首个词元预测残基数的交叉熵,$\lambda_{\mathrm{size}}$ 平衡两项监督。重建训练使用真实长度,并随机丢弃全部条件来学习无条件分支。生成时先确定长度,再从对应形状的噪声积分得到坐标,使条件词元数与生成残基数解耦。
熵截断与条件退火: 第二阶段以 GPT 式自回归模型学习完整离散词元序列。推理可保留固定前缀,也可用第 $m$ 步词表分布 $p_{m,k}$ 的熵选择停止点:
\[H_m=-\sum_{k\in\mathcal V}p_{m,k}\log p_{m,k},\quad K_{\mathrm{cut}}=\min\{m:H_m<H_{\mathrm{cut}}\}.\]$\mathcal V$ 是词表,$H_{\mathrm{cut}}$ 是熵阈值;另一策略先生成完整熵轨迹,再拟合样条取首个局部极小值。截断后的尾部细节交给扩散解码器;分类器退火(Classifier Annealing)随积分时间减弱条件贡献:
\[v_{\mathrm{ann}}=v_\theta(x_t,t,\varnothing) +(1-t^\alpha)\big[v_\theta(x_t,t,\hat c_{1:K_{\mathrm{cut}}})-v_\theta(x_t,t,\varnothing)\big].\]$\varnothing$ 表示无条件分支,$\alpha$ 控制退火曲线。早期词元引导全局布局,后期逐渐转向无条件场。下游直接展平固定长度的量化前缀,短序列补零而无需残基平均池化;保持条件并缩短解码长度可做结构缩小,外部奖励则可引导前缀束搜索。氨基酸序列由逆折叠模型另行生成。
⚪ PRISM:胚系来源分解与位置门控的抗体语言模型
- paper:Explicit representation of germline and non-germline residues improves antibody language modeling
PRISM 显式区分抗体残基的胚系来源与氨基酸身份,用来源条件化预测头和位置门控构建联合词元分布,支持面向亲和力成熟与可开发性的分别评分和采样。
来源词表与抗体上下文: PRISM(Partitioning Residue Identity in Somatic Maturation)将匹配胚系模板的残基记为大写 GL 词元,偏离模板的残基记为小写 NGL 词元;每种氨基酸都有两种来源编码。来源标签逐残基判定,不能将框架区等同于胚系、互补决定区(CDR)等同于非胚系。非胚系变化来自体细胞高频突变或连接区多样性;区域条件描述抗体区段,来源标签描述模板偏离,两者提供不同信息。输入将词元嵌入与投影后的 IMGT 区域嵌入、胚系 V/J 基因嵌入相加,基因条件广播到各位置。主干采用 ESM-2 配置的 Transformer,随机初始化并在抗体数据上训练;重轻链以分隔词元共同建模。
来源条件化与位置门控: 对编码器输出 $h_i$,Origin Head 预测非胚系概率 $\pi_i$,再将停止梯度后的来源信号注入 AA Head 和 Alpha Head:
\[\begin{aligned} o_i&=w_{\mathrm{orig}}^\top h_i+b_{\mathrm{orig}},\quad \pi_i=\sigma(o_i),\\ h_i^{\mathrm{cond}}&=h_i+\mathrm{Linear}(\mathrm{SG}(o_i)),\\ \alpha_i&=\sigma(w_\alpha^\top h_i^{\mathrm{cond}}+b_\alpha). \end{aligned}\]$\mathrm{SG}$ 保持前向数值,阻断条件注入路径对 $o_i$ 的反向梯度。AA Head 输出基础词表的对数概率 $l_i^{\mathrm{aa}}$;令 $M(y)$ 为词元 $y$ 的氨基酸身份,$Z(y)$ 为其来源,最终分布为
\[s_{i,y}=l_{i,M(y)}^{\mathrm{aa}}+\alpha_i\log P_{\mathrm{orig}}(Z(y)\mid h_i),\quad P_i(y)=\frac{\exp(s_{i,y}/T)}{\sum_{y'\in\mathcal V_{\mathrm{ext}}}\exp(s_{i,y'}/T)}.\]$P_{\mathrm{orig}}(\mathrm{NGL})=\pi_i$、$P_{\mathrm{orig}}(\mathrm{GL})=1-\pi_i$,$\mathcal V_{\mathrm{ext}}$ 是扩展词表,$T$ 是温度。$\alpha_i$ 调节来源证据的强度,不是胚系概率或来源头置信度;趋近零时去掉来源项,趋近一时保留完整来源约束,门控由最终词元预测任务学习。
多头监督与来源定向用法: 模型先在非配对链上预训练,再在配对重轻链上继续训练,并用突变负荷过滤近胚系序列、提高 CDR 掩码概率。掩码位点同时监督最终词元、氨基酸身份和二元来源:
\[\mathcal L=\lambda_f\mathcal L_{\mathrm{final}}+\lambda_{\mathrm{AA}}\mathcal L_{\mathrm{AA}}+\lambda_o\mathcal L_{\mathrm{origin}}.\]前两项采用逐词元加权焦点损失(Focal Loss),在归约内部提高 NGL 位点权重;来源项接受二元分类监督,各 $\lambda$ 平衡预测头。生成时在候选位置掩码重采样,可选完整、仅 GL 或仅 NGL 的输出切片。亲和力评分汇总突变位点的小写词元对数概率,可开发性评分读取大写词元似然;与常规语言模型比较时,对同一氨基酸的两种来源概率求和。
⚪ ProtoMech:跨层稀疏转码与归因图的蛋白质语言模型电路追踪
ProtoMech 用跨层转码器(CLT)近似 ESM-2 的 MLP 计算,以家族分类和适应度探针筛选任务电路,再用归因图与潜变量干预分析模型中的生物学特征组合。
跨层稀疏编码与输出重建: 对每个残基位置,$x^\ell$ 是第 $\ell$ 层 MLP 前的残差流,$y^\ell$ 是该模块输出。编码器产生稀疏潜变量 $a^\ell$,当前及所有前层潜变量共同重建该层输出:
\[\begin{aligned} a^\ell&=\mathrm{TopK}\big(W_{\mathrm{enc}}^\ell(x^\ell-b_{\mathrm{pre}}^\ell)+b_{\mathrm{enc}}^\ell\big),\\ \hat y^\ell&=\sum_{\ell'=1}^{\ell}W_{\mathrm{dec}}^{\ell'\to\ell}a^{\ell'}+b_{\mathrm{pre}}^\ell. \end{aligned}\]$\mathrm{TopK}$ 保留指定数量的大幅值激活,$W_{\mathrm{dec}}^{\ell’\to\ell}$ 是跨层解码矩阵,各 $b$ 为偏置。一个潜变量可贡献于多个后续层,而非只解释单层表征。训练拟合各层输出,并以辅助解码逼近重建残差:
\[\mathcal L_{\mathrm{CLT}}=\sum_{\ell=1}^{L}\|y^\ell-\hat y^\ell\|_2^2 +\alpha\sum_{\ell=1}^{L}\|e^\ell-\hat e^\ell\|_2^2,\quad e^\ell=y^\ell-\hat y^\ell.\]$L$ 为层数,$\hat e^\ell$ 由辅助潜变量经本层解码矩阵得到,$\alpha$ 平衡两项,辅助目标用于促进不活跃潜变量参与编码。
任务筛选、局部归因与干预: 作者在末层 MLP 输出上训练家族分类或适应度探针,前者池化残基表征,后者保留位置维度。筛选电路时顺序替换各层 MLP,保持原模型注意力输出;将潜变量的激活乘梯度绝对值在验证集上聚合,按排序贪心加入电路,直到达到目标探针性能或全潜变量替代模型的性能上限:
\[\Delta_i^\ell=\left|a_i^\ell\frac{\partial q}{\partial a_i^\ell}\right|,\quad A_{u\to v}=a_u\frac{\partial z_v}{\partial a_u}.\]$q$ 是探针输出。可视化另构建局部替代模型,固定注意力模式与归一化分母,并补回各层重建误差;$z_v$ 是后层目标潜变量的激活前值,$A_{u\to v}$ 表示源节点贡献。节点结合高激活序列、残基位置及结构注释。干预钳制选定潜变量,解码时补回未干预的重建残差,再从氨基酸分布生成野生型附近的候选变体。
残基—基序组合与突变响应: 电路图揭示模型内部特征的组合路径,生物学解释以已有注释为依据。
- 激酶电路: 第1层精氨酸检测连接第3层 HRD 催化基序,第5层出现甘氨酸富集环与 ATP 结合位点,第6层再出现丝氨酸特征。
- 辅因子结合电路: 苯丙氨酸特征进入第4层 Rossmann 折叠、第5层 NADP⁺ 结合口袋,第6层重新激活残基级特征,计算并非只向更抽象概念推进。
- GB1 突变电路: 第3层潜变量 L3/3027 对应疏水相互作用;A24W 激活额外的第6层内向疏水残基特征,W43Q 则关闭色氨酸检测并减弱疏水响应。
⚪ Induction Meets Biology:生化相似性与跨重复复制的蛋白质语言模型机制分析
该工作以重复片段中的掩码残基补全为任务,用电路筛选、反事实激活替换与神经元概念匹配,分析 ESM-3 和 ESM-C 如何结合跨重复复制与生化相似性识别。
重复任务与反事实电路筛选: 数据覆盖合成完全重复、天然完全重复和含替换的天然近似重复。天然目标片段由 RADAR 自比对识别,包含两个不重叠实例;近似重复的掩码位置与另一实例对应残基相同,但邻接替换位点,以打断局部精确匹配。两模型均仅使用序列输入,分析聚焦能稳定补全且反事实会改变预测的样本。对原始输入 $s$,反事实 $\hat s$ 将未掩码重复中的残基换为 BLOSUM62 得分最高的替代氨基酸。带积分梯度的归因修补(AP-IG)近似组件激活替换对正确答案对数概率的影响,按绝对重要性筛选注意力头与 MLP。电路 $c$ 的忠实度为
\[F(c)=\frac{\overline L_a(s\to\hat s;c)-\overline L_a(\hat s)} {\overline L_a(s)-\overline L_a(\hat s)}.\]$L_a$ 是正确残基 $a$ 的对数概率,横线表示样本平均;$s\to\hat s;c$ 保留电路组件,其他组件替换为反事实激活。$F=1$ 对应原模型行为,$F=0$ 对应反事实基线;跨任务同时比较组件交并比、包含率和迁移忠实度。
注意力行为与神经元概念匹配: 作者对注意力头的模式匹配、复制、相对位置和氨基酸偏置等特征聚类,其中归纳行为综合对齐注意力与输出复制贡献:
\[\mathrm{Induction}_h=\tfrac12(\mathrm{Copying}_h+\mathrm{PM}_h).\]$\mathrm{PM}_h$ 衡量两重复对齐位置间的注意力,$\mathrm{Copying}_h$ 衡量掩码位置输出对最受关注词元的提升。神经元直接取门控 MLP 激活后的标量维度,不训练稀疏自编码器;概念包含单种氨基酸、重复区域、理化分组和 BLOSUM62 可替换群。根据概念组激活的多数符号选择 AUROC 或其补值,并匹配得分最高的概念。边级归因修补(EAP-IG)追踪源输出到后层输入的贡献,Logit Lens 将中间表示映射到词表,定位答案何时被提升。
上下文构建、复制与末层调节:
- 跨任务共享: 近似重复电路涵盖更一般的补全逻辑,能迁移到完全重复任务,反向迁移不能充分恢复近似重复行为。
- 先建上下文再复制: 早层相对位置头与生化相似性神经元建立上下文;中层归纳头关注另一实例的对齐位置,复制残基并率先提升答案。
- 正负贡献分工: 重复敏感神经元常起抑制作用;后层 MLP 塑造输出,ESM-3 最后一层还降低答案置信度,ESM-C 则继续提高。
- 生物学概念差异: 两模型均有可替换氨基酸群神经元;ESM-3 另有匹配甘氨酸、脯氨酸螺旋破坏倾向的神经元,作者将其与多模态训练联系起来。
3.2 结构预测、生成与动力学
⚪ PAR:多尺度自回归与条件流匹配的蛋白质骨架生成
序列相距较远的残基可能形成空间接触,逐残基单向生成难以表达这种双向依赖。PAR 将自回归顺序改为由粗到细的“下一尺度预测”,以历史尺度编码条件,再用流匹配生成连续骨架坐标,不经过离散量化。
连续多尺度与条件编码: 输入为长度 $L$ 的骨架 $C_\alpha$ 坐标 $x\in\mathbb R^{L\times3}$,不含氨基酸类型与侧链。沿残基序列轴确定性插值得到 $n$ 个尺度,$x_i=\operatorname{Down}(x,\ell_i)$,其中 $\ell_i$ 为尺度长度,$x_n=x$。粗尺度点表示整体布局,而非离散结构词元。尺度长度可按固定长度或原长度比例设置:
\[\begin{aligned} p_\theta(X)&=\prod_{i=1}^{n}p_\theta(x_i\mid z_i),\qquad X=(x_1,\ldots,x_n),\\ z_i&=\mathcal T_\theta\!\left([\mathrm{bos},\operatorname{Up}(x_1,\ell_2),\ldots,\operatorname{Up}(x_{i-1},\ell_i)]\right). \end{aligned}\]$\operatorname{Up}$ 将历史坐标插值到下一尺度长度,方括号表示沿序列轴拼接,bos 为起始嵌入。非等变 Transformer $\mathcal T_\theta$ 编码全部历史尺度,输出当前条件 $z_i$;自回归约束位于尺度之间,同一尺度内允许双向交互。位置索引在原序列区间 $[1,L]$ 上均匀插值,保留跨尺度的相对残基位置。
共享解码与流匹配: 每个尺度采样高斯噪声 $\epsilon_i\sim\mathcal N(0,I)$ 与流时间 $t_i\in[0,1]$,构造 $x_{t_i}^{i}=t_i x_i+(1-t_i)\epsilon_i$。共享 Transformer 解码器 $v_\theta$ 与条件编码器联合训练:
\[\mathcal L=\mathbb E_{x\sim p_D}\left[ \frac1n\sum_{i=1}^{n}\frac1{\ell_i}\, \mathbb E_{t_i,\epsilon_i} \left\|v_\theta(x_{t_i}^{i},t_i,z_i)-(x_i-\epsilon_i)\right\|_2^2 \right].\]$p_D$ 为训练结构分布。$z_i$ 经自适应层归一化注入解码器,并结合尺度嵌入与自条件输入。流匹配将标准高斯分布映射到各尺度坐标分布,尺度嵌入区分粗布局与细骨架的统计特征;自条件把去噪器此前的干净结构估计作为附加输入。推理逐尺度积分速度场,生成坐标回送编码器,直到完整分辨率;粗尺度可随机采样,细尺度切换为确定性细化。解码器联合处理整尺度原子,而非逐点独立回归。
噪声上下文与调度采样: 为使训练条件接近生成时的历史结构,噪声上下文学习(NCL)仅扰动历史输入,保留真实监督目标;调度采样则用当前速度构造干净坐标估计:
\[\begin{aligned} x_{\mathrm{ncl}}^{i}&=w_i x_i+(1-w_i)\epsilon_{\mathrm{ncl}}^{i},\qquad w_i\in[0,1],\quad\epsilon_{\mathrm{ncl}}^{i}\sim\mathcal N(0,I),\\ x_{\mathrm{pred}}^{i}&=x_{t_i}^{i}+(1-t_i)v_\theta(x_{t_i}^{i},t_i,z_i). \end{aligned}\]$w_i$ 控制上下文保留程度。训练按概率用 $x_{\mathrm{pred}}^{i}$ 替换后续尺度的真实上下文,也可再叠加噪声。生成时可用稀疏三维点指定首尺度布局;基序支架生成在各尺度对齐并替换指定基序坐标,再继续细化,无需额外微调。
⚪ BioDynaSpec:独立窗口频谱分解与谐波空间耦合的蛋白质动力学生成
针对时域逐帧自回归的误差累积,BioDynaSpec 在局部近均衡假设下将轨迹转为窗口级频谱,以序列和锚点结构为条件,从低频到高频生成运动,并用残基距离偏置表达多尺度空间耦合。
独立窗口与连续频谱词元: 独立窗口傅里叶分解(IWFD)从全原子轨迹提取残基 $C_\alpha$ 坐标,划分为长度 $W$ 的非重叠窗口。每个窗口去除质心,以本窗口首帧作 Kabsch 对齐,抑制刚体运动。对窗口 $k$、残基 $i$、坐标轴 $c$ 的对齐坐标 $\widetilde X^{(k)}$ 沿时间轴变换:
\[S_{f,i,c}^{(k)}=\sum_{t=1}^{W}\widetilde X_{t,i,c}^{(k)} \exp\!\left(-\mathrm{i}\frac{2\pi}{W}(t-1)f\right), \qquad f=0,\ldots,\lfloor W/2\rfloor.\]$S^{(k)}$ 为复数半频谱,$\mathrm{i}$ 为虚数单位。每个频率以训练集系数幅值的高分位尺度 $s_f$ 归一化,得到 $\widetilde S_f=S_f/s_f$;三个坐标轴的实部、虚部拼成六维连续词元。共轭对称性使半频谱足以重建实轨迹,窗口不采用重叠相加。
锚点编码与谐波空间偏置: 结构感知编码器(SARE)融合 ESM-2 嵌入、氨基酸类型、相对位置与锚点距离,经三角自注意力更新成对特征,再用局部残基框架上的不变点注意力(IPA)提取 SE(3) 不变几何信息。空间 Transformer 加入残基间频率耦合(IRFC)偏置:
\[\alpha_{ij}^{(h)}=\operatorname{softmax}_{j}\!\left( \frac{(q_i^{(h)})^\top k_j^{(h)}}{\sqrt d}+b_{ij}^{\mathrm{pair}}-\tau_h d_{ij}^{2} \right),\qquad \tau_h=\operatorname{softplus}(\gamma_h).\]$q,k$ 为查询与键,$d$ 为特征维度,$b^{\mathrm{pair}}$ 为成对偏置,$d_{ij}$ 为锚点残基距离。可学习头参数 $\gamma_h$ 控制非负刚度 $\tau_h$:大值对应窄高斯核与局部耦合,小值允许远程集体运动。平方距离偏置源于谐波势的二次近似。
频率自回归扩散与窗口递推: 训练先随机选择低频截断点,将保留的前缀沿频率轴插值为粗条件,再掩蔽部分频率;目标仍是真实完整频谱。Self-Forcing 阶段改为按低到高频顺序、以真实历史预测下一频率。规划网络交替执行跨残基空间注意力和残基内频率注意力,后者使用旋转位置编码(RoPE),输出条件 $c$ 给 MLP 扩散头:
\[\mathcal L_{\mathrm{diff}}=\mathbb E_{\sigma,\epsilon}\!\left[ \lambda(\sigma)\left\|F_\theta(x_0+\sigma\epsilon;\sigma,c)-x_0\right\|_2^2 \right],\qquad\epsilon\sim\mathcal N(0,I).\]$x_0$ 为干净词元,$\sigma$ 为噪声尺度,$\lambda(\sigma)$ 为权重。推理逐频率去噪,并在频率层级间插值更新粗条件;恢复复数系数、撤销归一化后重建窗口:
\[\widehat X^{(k)}=\Phi^{-1}\!\left(\{s_f\widehat{\widetilde S}_{f}^{(k)}\}_f;W\right), \qquad x_{\mathrm{start}}^{(k+1)}=\widehat X_{W,:,:}^{(k)}.\]$\Phi^{-1}$ 为逆实傅里叶变换,帽号表示生成量。末帧成为下一窗口锚点并重新编码条件,因此局部频谱分开建模,长轨迹由锚点递推连接。
⚪ IT-Opt:嵌入空间优化与能量重加权的实验约束蛋白质系综生成
实验约束的蛋白质系综需要同时解释观测平均量与构象群体分布。IT-Opt 在推理时优化 AlphaFold3 的条件嵌入,使实验信息跨采样轮次保留,并以能量重加权计算系综统计量。
结构先验与系综似然: 给定序列 $a$,Pairformer 输出单残基与残基对条件 $Z=(s,z)$,融合多序列比对(MSA)的共进化信息。框架为每个系综成员分别维护嵌入,以初始条件 $Z(a)$ 为中心设置高斯先验。记整批嵌入为 $\mathcal Z$,全原子构象系综为 $\mathcal X={X_1,\ldots,X_n}$,$y$ 为实验观测,优化证据下界型目标:
\[\mathcal Z^{*}=\arg\max_{\mathcal Z} \left\{\mathbb E_{\mathcal X\sim p(\mathcal X\mid\mathcal Z)} \log p(y\mid\mathcal X)+\log p(\mathcal Z\mid a)\right\}.\]期望由结构采样近似,实验似然作用于整个系综。核磁共振(NMR)的核 Overhauser 效应(NOE)约束使用原子对距离上下界:
\[\begin{aligned} \bar d_{ij}&=\frac1n\sum_{k=1}^{n}\|x_i^{(k)}-x_j^{(k)}\|_2,\\ \log p(D\mid\mathcal X)&=-\sum_{(i,j)\in\mathcal P} \left([d_{ij}^{\mathrm{lo}}-\bar d_{ij}]_+^2+[\bar d_{ij}-d_{ij}^{\mathrm{hi}}]_+^2\right). \end{aligned}\]$D$ 为距离约束集,$\mathcal P$ 为原子对集合,$x_i^{(k)}$ 为构象 $k$ 的原子坐标,$[v]+=\max(v,0)$;$\bar d{ij}$ 是距离的算术系综平均。可微 Hydride 片段配准从重原子重建氢坐标。晶体学似然则取观测电子密度与系综平均计算密度的负 $L_1$ 距离,计算密度包含原子散射和晶体对称操作。
外层探索与内层交替更新: 外层重新采样扩散初始噪声,但继承上一轮嵌入。内层在去噪步骤计算实验似然,仅经当前可微去噪器回传到条件:
\[\mathcal Z_{t-1}^{k}=\mathcal Z_t^{k}+\eta_z\left[ \nabla_{\mathcal Z_t^{k}}\log p\!\left(y\mid D_\theta(\mathcal X_t^{k};\mathcal Z_t^{k},t)\right) +\lambda_p\nabla_{\mathcal Z_t^{k}}\log p(\mathcal Z_t^{k}\mid a)\right].\]$D_\theta$ 为去噪器,$k,t$ 分别为采样轮次和扩散步,$\eta_z,\lambda_p$ 控制更新幅度与先验强度,$\mathcal X_t^{k}$ 为带噪系综。更新条件后继续反向扩散,网络权重保持冻结;末轮嵌入再用于坐标空间引导。辅助几何项约束键长、键角与碰撞;局部替代构象任务对齐并锚定非目标区域,肽任务不使用该锚定。
能量重加权与加权观测: 在结构先验上叠加能量先验,以 ProteinEBM 的可微能量 $E_\phi$ 计算自归一化权重:
\[w_k=\frac{e^{-\beta E_\phi(X_k)}}{\sum_{j=1}^{n}e^{-\beta E_\phi(X_j)}}, \qquad \bar d_{ij}^{\,w}=\sum_{k=1}^{n}w_k\|x_i^{(k)}-x_j^{(k)}\|_2.\]$\beta$ 为逆温度,$\bar d_{ij}^{\,w}$ 替换均匀距离平均,实验损失随权重共同回传。权重总和为一,低能构象对观测平均的贡献更大;逆温度趋零时恢复均匀平均。逆温度退火保留早期探索,能量指数平滑稳定中间步骤,低能端截断平移控制异常构象的权重。能量倾斜针对结构先验与能量先验的乘积分布,而非单独力场的纯玻尔兹曼分布。
⚪ CalPro:生物先验证据建模与结构感知敏感度分析的蛋白质结构误差校准
CalPro 在预训练结构预测器之后增加不确定性层,以无序和柔性先验约束证据尺度,再用分割保形校准构造残基误差区间;结构感知敏感度分析用于研究分布偏移,不参与部署采样。
残基图与证据尺度: 方法不重新预测结构,回归目标是最优叠合后的 $C_\alpha$ 距离误差 $y_i=|r_i^{\mathrm{pred}}-r_i^{\mathrm{exp}}|_2$,两坐标分别来自预测和实验结构。图 $G(x)$ 按序列邻接与预测空间邻近连接残基,节点融合 pLDDT、pTM、距离分布、预测对齐误差、结构注释及 ESM-2 嵌入。图神经网络(GNN)读出正态逆伽马(NIG)参数:
\[(\mu_i,\alpha_i,\beta_i,\nu_i)=g_\psi(G(x),\phi(x))_i, \qquad \sigma_i^2=\frac{\beta_i}{\nu_i(\alpha_i-1)}, \qquad \alpha_i>1,\quad\beta_i,\nu_i>0.\]$x$ 为输入特征,$g_\psi$ 为证据头,$\mu_i$ 为误差均值,$\sigma_i$ 为保形标准化尺度。先验特征 $\phi(x)$ 包括 IUPred2A 无序分数与预测柔性,可由序列和基础预测输出计算。
先验约束与可微训练: 先验既作为输入,也经单调映射 $m$ 设定认知方差 $u_i$ 的软下界。训练结合证据似然、证据正则和分数尾部代理:
\[\begin{aligned} \mathcal L&=\mathcal L_{\mathrm{NIG}}+\lambda_{\mathrm{evid}}\mathcal L_{\mathrm{evidence}} +\lambda_{\mathrm{prior}}\mathcal L_{\mathrm{prior}}+\lambda_{\mathrm{conf}}\mathcal L_{\mathrm{soft-conf}},\\ \mathcal L_{\mathrm{prior}}&=\lambda\sum_i[m(b_i)-u_i]_+, \qquad\mathcal L_{\mathrm{evidence}}=\sum_i e^{-\alpha_i},\\ Q_{\mathrm{lse}}&=\frac1\gamma\log\!\left(\frac1{n_b}\sum_i e^{\gamma s_i}\right),\qquad \mathcal L_{\mathrm{soft-conf}}=\frac1{n_b}\sum_i\operatorname{softplus}\!\left(\frac{s_i-Q_{\mathrm{lse}}}{\kappa}\right). \end{aligned}\]$b_i$ 为残基生物先验,$[v]_+=\max(v,0)$,各 $\lambda$ 为权重;$n_b$ 为批内样本数,$\gamma,\kappa>0$ 控制平滑。$s_i$ 为标准化残差。log-sum-exp 仅是训练代理,不代替经验分位数校准,也不单独提供覆盖保证。
保形校准与偏移敏感度: 目标水平为 $1-\zeta$,避免与形状参数 $\alpha_i$ 混用。以蛋白质为交换单位,将残基分数取均值,随后计算有限样本修正分位数:
\[\begin{aligned} s_i&=\frac{|y_i-\mu_i|}{\sigma_i+\epsilon},\qquad \bar s_p=\frac1{|p|}\sum_{i\in p}s_i,\\ \widehat q_{1-\zeta}&=\bar s_{(\lceil(N_{\mathrm{prot}}+1)(1-\zeta)\rceil)},\\ C_{1-\zeta}(x_i)&=\left[\max\{0,\mu_i-\widehat q_{1-\zeta}(\sigma_i+\epsilon)\}, \ \mu_i+\widehat q_{1-\zeta}(\sigma_i+\epsilon)\right]. \end{aligned}\]$\epsilon>0$ 为稳定项,$|p|$ 为蛋白质残基数,$N_{\mathrm{prot}}$ 为独立校准蛋白质数,下标括号表示顺序统计量。交换性下的覆盖口径对应聚合分数;残基区间覆盖另行统计,不是整条蛋白质所有残基的联合保证。
论文在分数局部 Lipschitz 与密度有界假设下,分析校准分布 $D_0$ 附近 Wasserstein-1 球内固定阈值 $t$ 的后验平均超限率:
\[\sup_{D_1:W_1(D_1,D_0)\le\varepsilon} \mathbb E_{\psi\sim\rho}\!\left[\Pr_{z\sim D_1}(s_\psi(z)>t)\right] \le\mathbb E_{\psi\sim\rho}[\widehat L_t(\psi)] +\sqrt{\frac{\operatorname{KL}(\rho\|\Pi)+\log(2/\delta)}{2n_{\mathrm{cal}}}} +M_sL_s\varepsilon.\]$z=(x,y)$,$\widehat L_t$ 为经验超限率,$n_{\mathrm{cal}}$ 为分析样本数;$\Pi,\rho$ 为参数先验与分析后验,$\delta$ 为失败概率,$L_s,M_s$ 控制敏感度和密度上界,$\varepsilon$ 为偏移半径。该分析区分经验超限、参数复杂度与分布漂移,不等同于任意偏移下的固定覆盖保证。部署使用固定证据头及校准区间,不进行后验采样;区间宽度可筛选对接输入,也可在共享图表征上训练辅助风险分类器。
3.3 蛋白质设计
⚪ Chamaileon:上下文联合建模与混合路径采样的跨状态结合蛋白设计
同一结合蛋白可能需要识别不同靶标,或适配同一靶标的不同构象。Chamaileon 将两者统一为跨上下文设计,以目标—结合蛋白联合流匹配学习局部交互,再交替推进多个生成路径,使不同结构共享一条序列。
上下文复合物共设计(I3CD): 每个残基表示为 $P^d=(x^d,r^d,a^d)$,其中 $x^d\in\mathbb R^3$ 是 $C_\alpha$ 平移,$r^d\in\mathrm{SO}(3)$ 是局部旋转,$a^d$ 是氨基酸身份。目标复合物条件 $T_{1,1}$ 保持干净;结合蛋白结构按时间 $t$ 加噪,序列按独立时间 $\tilde t$ 掩码,得到 $B_{t,\tilde t}$。模型拼接两条链,并加入热点掩码 $M_H$,预测干净坐标、旋转和残基分布。记预测量为 $\hat x_1^d,\hat r_1^d$,混合目标为:
\[\mathcal L_{\mathrm{I3CD}}=\mathbb E\sum_{d=1}^{D}\left[ \frac{\|\hat x_1^d-x_1^d\|_2^2}{1-t} +\frac{\|\log_{r_t^d}(\hat r_1^d)-\log_{r_t^d}(r_1^d)\|_2^2}{1-t} -\log p_\theta(a_1^d\mid B_{t,\tilde t},T_{1,1},M_H) \right].\]$D$ 是结合蛋白长度,$\log_r$ 是旋转流形上以 $r$ 为基点的对数映射。独立时间允许模型在序列与结构噪声程度不同的条件下学习正向折叠、逆折叠与共设计。
混合路径采样(MoPS): 推理将时间分为若干区间,每个上下文维护自己的结构。某一区间先选上下文 $m$ 同时更新结构与序列,再把该路径预测的干净序列 $\hat a_1^m$ 交给其他上下文做序列条件折叠:
\[\begin{aligned} \Delta x^m&=\frac{\hat x_1(B^m_{t,t}\mid T^m)-x_t^m}{1-t}\Delta t,\\ \Delta x^n&=\frac{\hat x_1(B^n_{t,1}\mid T^n)-x_t^n}{1-t}\Delta t,\\ B^n_{t,1}&=(x_t^n,r_t^n,\hat a_1^m). \end{aligned}\]$T^m,T^n$ 表示对应目标与热点条件;旋转按流形指数映射更新,联合路径的氨基酸按离散流速率采样。下一时间区间交换角色,而不是对所有路径的序列逻辑值直接取平均。
随机轨迹与束搜索: 为形成多个候选,平移路径加入布朗噪声,并用得分函数修正漂移以保留原边缘分布。每个区间根据链间预测对齐误差(ipAE)、结合蛋白 pLDDT 和自一致性骨架误差(scRMSD)打分:
\[S(i)=\omega_e\frac{e_{\max}-e_i}{e_{\max}-e_{\min}} +\omega_p\frac{p_i-p_{\min}}{p_{\max}-p_{\min}} +\omega_r\frac{r_{\max}-r_i}{r_{\max}-r_{\min}}.\]$e_i,p_i,r_i$ 分别是候选 $i$ 的三项指标,极值在当前候选集合内计算,$\omega_e,\omega_p,\omega_r$ 为权重。保留高分路径作为下一段起点;负向设计则对不希望结合的上下文反转评分方向。
⚪ TD3B:方向监督与亲和力门控的变构结合蛋白离散扩散设计
结合强度并不直接决定一个分子诱导激活还是抑制。TD3B 将激动/拮抗方向作为独立设计目标,用靶标感知的方向判别器与结合门控构造奖励,再把搜索得到的偏好蒸馏到预训练离散扩散模型。
状态转移视角与方向判别: 以未激活、激活等宏状态构成连续时间马尔可夫链,结合序列 $y$ 对基础生成矩阵 $Q_0$ 施加扰动:
\[Q(y)=Q_0+\Delta Q(y),\qquad \Delta_{ij}(y)=Q(y)(s_i,s_j)-Q(y)(s_j,s_i).\]$s_i,s_j$ 是两个状态,$\Delta_{ij}$ 描述转移方向的不对称性;实际训练不回归 $Q(y)$ 或动力学速率,只把完全/部分激动剂标为 $d=+1$、拮抗剂标为 $d=-1$。方向判别器用 ESM-2 编码靶标序列 $x$,编码结合序列 $y$ 后进行门控融合,以加权逻辑损失学习方向分数 $f_\phi(y,x)$:
\[\mathcal L_{\mathrm{dir}}=\mathbb E\big[\kappa(y)\log(1+e^{-d f_\phi(y,x)})\big],\qquad R(y;d^*,x)=g_\psi(y,x)\,\sigma\!\left(\frac{d^*f_\phi(y,x)}{\tau}\right).\]$\kappa$ 降低部分激动标签的权重并排除非结合样本;$d^{*}$ 是期望方向,$\sigma$ 是 Sigmoid,$\tau$ 是温度。预训练亲和力评分 $g_\psi$ 作为软门控,抑制无法结合的候选,而非与方向奖励做线性权衡。
奖励倾斜与轨迹加权: 生成主干沿用 PepTune 的掩码离散扩散模型,其架构不直接接收靶标或方向。二者通过奖励进入微调及候选重采样。目标分布保留原序列先验,并按奖励指数倾斜;搜索策略 $\bar\theta$ 的轨迹用重要性比修正:
\[\begin{aligned} p^*(y\mid d^*,x)&\propto p_{\theta_0}(y)e^{R(y;d^*,x)/\alpha},\\ \log\tilde w(y_{0:1})&=\frac{R(y_1;d^*,x)}{\alpha} +\sum_n\sum_{\ell:y_{t_{n-1}}^\ell\ne y_{t_n}^\ell} \log\frac{p_{\theta_0}(y_{t_{n-1}}^\ell\mid y_{t_n}^{\mathrm{UM}})}{p_{\bar\theta}(y_{t_{n-1}}^\ell\mid y_{t_n}^{\mathrm{UM}})}. \end{aligned}\]$\theta_0$ 是预训练参数,$\alpha$ 控制偏离先验的程度,$y^{\mathrm{UM}}$ 表示未掩码上下文。树搜索将候选存入回放库,归一化 $\tilde w$ 后,对掩码词元重建损失加权。
方向对比与先验约束: 令 $h_\theta(y)$ 为生成器末层均值池化表示,$\mathcal P,\mathcal N$ 分别为同方向与反方向样本对:
\[\begin{aligned} \mathcal L_{\mathrm{ctr}}&=\sum_{(i,j)\in\mathcal P}\|h_i-h_j\|_2^2 +\sum_{(i,j)\in\mathcal N}\max(0,m-\|h_i-h_j\|_2)^2,\\ \mathcal L&=\mathcal L_{\mathrm{WDCE}}+\lambda_{\mathrm{ctr}}\mathcal L_{\mathrm{ctr}} +\lambda_{\mathrm{reg}}D_{\mathrm{KL}}(p_\theta\|p_{\theta_0}). \end{aligned}\]$m$ 是类间间隔,$\mathcal L_{\mathrm{WDCE}}$ 是轨迹加权去噪交叉熵;对比项组织方向表征,KL 项限制生成分布漂移。推理依据指定靶标与方向对候选加权选择,不依赖结构对接筛选。
⚪ FIDIA:功能奖励与排序策略梯度的 Best-of-N 对齐逆折叠
逆折叠训练通常追求天然序列恢复,而设计流程实际从多个候选中选择功能最好的序列。FIDIA 为 ProteinMPNN 引入功能条件与奖励,并直接优化 Best-of-N(BoN) 的最大收益,而非单个样本的平均收益。
任务条件与复合奖励: 将随机顺序的残基生成建模为马尔可夫决策过程,状态包含骨架 $x$、功能条件 $c$ 与已生成残基,动作是当前位置的氨基酸身份。节点额外标记固定功能基序,终局奖励结合基序重折叠误差 $d_m$、全局误差 $d_g$、Vina 对接能量 $E_v$ 及候选多样性:
\[\begin{aligned} R(s)&=w_mr_m+w_gr_g+w_vr_v+w_dr_d,\\ r_m&=[1+(d_m/\tau_m)^2]^{-1},\\ r_g&=\begin{cases}1,&d_g\le\delta,\\[1+((d_g-\delta)/\tau_g)^2]^{-1},&d_g>\delta,\end{cases}\\ r_v&=\mathrm{clip}\!\left(\frac{E_b-E_v}{E_b-E_*},0,1\right),\qquad r_d(s_i)=\frac1{K-1}\sum_{j\ne i}H(s_i,s_j). \end{aligned}\]$E_b,E_*$ 是能量标度端点,$H$ 为归一化汉明距离,$K$ 为当前候选数;$w$ 是任务权重,$\tau_m,\tau_g,\delta$ 控制几何奖励尺度。全局奖励在容差内保持平顶,基序奖励继续鼓励局部精确恢复。
BoN 目标与排序重用: 给定 $N$ 个独立采样序列,目标及原文无并列奖励推导下的获胜分布为:
\[J_{\mathrm{BoN}}=\mathbb E_{s_{1:N}\sim\pi_\theta}\left[\max_iR(s_i)\right],\qquad \pi_{\mathrm{bon}}(s)=N\pi_\theta(s)F_\theta(R(s))^{N-1},\]$\pi_\theta$ 是逆折叠策略,$F_\theta(r)=P_{s\sim\pi_\theta}[R(s)\le r]$ 是奖励累计分布。对获胜分布求梯度时,除了获胜序列的策略梯度,还需估计低于该奖励的条件样本集合的贡献。框架把 $K>N\ge2$ 个候选按奖励升序排列,计算每个序列在随机大小为 $N$ 的子集中获胜的组合概率,再形成排序权重:
\[p_i=\frac{\binom{i-1}{N-1}}{\binom KN},\qquad \lambda_i=p_iR(s_{(i)})+(N-1)\sum_{j=i+1}^{K}\frac{p_jR(s_{(j)})}{j-1},\qquad A_i=\frac{\lambda_i-\bar\lambda}{\sigma_\lambda}.\]$s_{(i)}$ 表示第 $i$ 个排序样本,$\bar\lambda,\sigma_\lambda$ 是批内权重均值和标准差。低排名候选仍参与其他候选的条件梯度估计,不简单丢弃全部非最优样本。
裁剪策略更新: 将序列级 $A_i$ 广播到每个生成位置,在 GRPO 风格目标中替代普通回报优势:
\[J(\theta)=\mathbb E\left[\frac1K\sum_{i=1}^{K}\frac1{T_i}\sum_{t=1}^{T_i} \min\left(\rho_{i,t}A_i,\mathrm{clip}(\rho_{i,t},1-\epsilon,1+\epsilon)A_i\right)\right],\qquad \rho_{i,t}=\frac{\pi_\theta(a_{i,t}\mid S_{i,t})}{\pi_{\theta_{\mathrm{old}}}(a_{i,t}\mid S_{i,t})}.\]$T_i$ 是序列轨迹长度,$S_{i,t},a_{i,t}$ 是状态与动作,$\epsilon$ 控制更新幅度。训练后仍按 BoN 生成、折叠与筛选,使训练收益对应实际候选选择流程。
⚪ CodeFP:功能结构检索与局部语义监督的蛋白质序列—结构共生成
仅以功能标签生成序列,或先生成结构再做逆折叠,难以同时约束功能局部几何与可折叠性。CodeFP 在 DPLM-2 的序列—结构离散扩散中加入功能结构检索和局部功能监督,让两种模态在去噪过程中共同接受功能条件。
功能标签的结构锚定: 输入蛋白质序列 $s$ 和骨架坐标 $x\in\mathbb R^{L\times4\times3}$,四个原子分别为 N、Cα、C、O;冻结的结构标记器通过查表无关量化(LFQ)得到每残基结构词元 $z$。训练集利用 InterProScan 的功能域标注提取局部骨架,交由与主干对齐的冻结编码器得到局部嵌入 $e_{i,y}$,再按 GO 分子功能标签 $y$ 聚合为检索原型:
\[c_y=\mathrm{Mean}\{e_{i,y}:(P_i,y)\in\mathcal S_y\},\qquad H^{(\ell)\prime}=H^{(\ell)}+\mathrm{CrossAttn}(Q=H^{(\ell)},K=C,V=C).\]$\mathcal S_y$ 是带标签 $y$ 的训练蛋白集合,$C$ 是输入功能标签对应的原型集合,$H^{(\ell)}$ 是第 $\ell$ 层两种词元的隐状态。原型与 GO 编码共同作为条件;结构词元以查询访问功能基序表示,而非只读取一个平坦标签向量。
双模态吸收扩散: 序列与结构词元分别加噪,逐渐进入各自掩码状态。反向模型预测干净的联合离散状态 $u^{(0)}=(s,z)$,并结合已知前向后验恢复上一时间步:
\[p_\theta(u^{(t-1)}\mid u^{(t)},\mathcal C)\propto \sum_{\tilde u^{(0)}}q(u^{(t-1)}\mid u^{(t)},\tilde u^{(0)}) p_\theta(\tilde u^{(0)}\mid u^{(t)},\mathcal C),\]$\mathcal C$ 包含 GO 语义与检索原型。共享 Transformer 让序列、结构词元持续交互;两种模态独立采样时间 $t_s,t_z$,只对被掩码的位置计算加权重建损失:
\[\mathcal L_{\mathrm{gen}}=\mathbb E\sum_{i=1}^{L}\left[ \lambda(t_s)b_i(t_s)\big(-\log p_\theta(s_i\mid u,\mathcal C)\big) +\lambda(t_z)b_i(t_z)\big(-\log p_\theta(z_i\mid u,\mathcal C)\big)\right].\]$b_i(t)$ 是位置 $i$ 是否被掩码的指示量,$\lambda(t)$ 是扩散时间权重。生成时迭代恢复两条词元轨道,最终由结构解码器还原骨架。
局部结构—功能监督(LSFS): 同一功能基序可以对应不同结构词元,单纯词元重建会把这些实现视为竞争类别。模型在已标注功能域内平均池化末层连续结构隐状态,再预测功能标签,以辅助监督保留它们共有的语义:
\[w_y=\frac{N_y^{-1}}{J^{-1}\sum_{j=1}^{J}N_j^{-1}},\qquad \mathcal L_{\mathrm{LSFS}}=-w_y\log\hat p_y,\qquad \mathcal L_{\mathrm{total}}=\mathcal L_{\mathrm{gen}}+\gamma\mathcal L_{\mathrm{LSFS}}.\]$N_y$ 是标签 $y$ 的训练频次,$J$ 是功能类别数,$\hat p_y$ 是局部分类头预测概率,$\gamma$ 调节辅助监督。训练冻结预训练主干,更新功能条件模块、检索交叉注意力与分类头;推理不需要已知待生成蛋白的功能域位置。
⚪ DPLM-Evo:潜在对齐与上下文进化噪声的变长蛋白质编辑扩散
蛋白质变化包含替换、插入和删除,而固定长度掩码扩散只能直接表达词元恢复。DPLM-Evo 在扩展的潜在对齐空间中定义加噪,在去掉空位的可变长度序列上预测编辑动作,并用上下文相关替换核组织进化式去噪。
潜在空位与编辑加噪: 对长度为 $L$ 的序列 $x_0$,加入空位词元 $\phi$ 构造长度为 $2L$ 的对齐缓冲。$\Gamma(x)$ 表示所有折叠为 $x$ 的对齐,折叠映射移除空位但保留尚未确定身份的掩码词元 $m$:
\[x_t=\Gamma^{-1}(z_t)=[z_t^{(j)}:z_t^{(j)}\ne\phi],\qquad q_t(z_t\mid z_0)=\bar\alpha_t\delta_{z_0}+(1-\bar\alpha_t)\pi(z_0).\]$z_0,z_t$ 是干净、加噪对齐,$\bar\alpha_t$ 是保留率,$\pi$ 由编辑噪声矩阵决定。该矩阵让残基替换为另一残基或掩码,也允许残基变空位、空位变残基;三个方向分别提供替换、删除、插入的训练信号。
上下文进化替换核: 替换噪声不固定采用均匀分布或静态 BLOSUM 矩阵。模型先抽样辅助掩码上下文 $z’_t$,再强制掩码目标位点 $j$,用当前模型的预测构造该位置的替换分布:
\[T_{\mathrm{sub}}^{(j)}= \mathbb E_{z'_t\sim q'_t(\cdot\mid z_0)} \left[p_\theta(\cdot\mid z_t'^{\setminus j},m)\right].\]$q’_t$ 是辅助掩码过程,$z_t’^{\setminus j}$ 表示目标位置被掩码的上下文。训练先用简单噪声预热,再切换为上下文替换;因此噪声本身包含对当前位点与其余序列的依赖,而非任意替换。
三头编辑监督与变长采样: 去噪器实际输入 $x_t$,分别输出氨基酸分布 $p_\theta^{\mathrm{sub}}$、删除概率 $p_\theta^{\mathrm{del}}$ 与向右插入概率 $p_\theta^{\mathrm{ins}}$。令 $I(k)$ 将观测位置 $k$ 映射到潜在索引,$v_{\mathrm{next}}^{(k)}$ 是两相邻观测位置之间待恢复的第一个非空位目标词元:
\[\begin{aligned} \mathcal L_{\mathrm{sub}}^{(k)}&=\mathbf1[z_0^{I(k)},z_t^{I(k)}\in\mathcal V]\mathbf1[z_0^{I(k)}\ne z_t^{I(k)}] \,\mathrm{CE}(z_0^{I(k)},p_\theta^{\mathrm{sub}}),\\ \mathcal L_{\mathrm{del}}^{(k)}&=\mathrm{BCE}(\mathbf1[z_0^{I(k)}=\phi],p_\theta^{\mathrm{del}}),\\ \mathcal L_{\mathrm{ins}}^{(k)}&=\mathrm{BCE}(\mathbf1[v_{\mathrm{next}}^{(k)}\ne\varnothing],p_\theta^{\mathrm{ins}}),\\ \mathcal L_t&=\mathbb E\sum_{k=1}^{|x_t|}\lambda_{t-1} (\gamma_{\mathrm{sub}}\mathcal L_{\mathrm{sub}}^{(k)}+\gamma_{\mathrm{del}}\mathcal L_{\mathrm{del}}^{(k)}+\gamma_{\mathrm{ins}}\mathcal L_{\mathrm{ins}}^{(k)}). \end{aligned}\]$\mathcal V$ 为氨基酸与掩码字母表,$\mathrm{CE},\mathrm{BCE}$ 分别为分类与二分类交叉熵,$\gamma$ 平衡编辑类型。采样以每个残基右侧一个候选空位近似潜在对齐,依次删除、插入掩码、恢复残基,再将低置信位置重新加噪;多残基插入由连续编辑步骤组合。变异打分则直接读取野生型上下文中的替换对数比,不必把突变位置掩码。
⚪ LineageFlow:祖先谱系先验与中途重路由的家族感知蛋白质序列生成
从均匀噪声或掩码启动序列生成,会抹去蛋白质家族中保守位点的进化约束。LineageFlow 将祖先序列重建得到的位点分布作为狄利克雷流匹配先验,把生成转化为保留祖先骨架的结构化突变,并在中途加入“突变—选择—扩增”以引导目标属性。
祖先后验与家族坐标系: 对家族 $h$ 的多序列比对(MSA),先用 IQ-TREE 推断最大似然树与氨基酸替换模型,经最小祖先偏离(MAD)定根,再用 PAML 计算根节点的边缘祖先后验 $p_{\mathrm{root}}^{(h,l)}(a)$。与直接统计比对列频率不同,该后验在系统发育树上整合同源序列信息。长度为 $L_h$ 的对齐序列表示为 $X=(x^{(1)},\ldots,x^{(L_h)})$,每个位点是 20 种氨基酸的概率单纯形向量:
\[\alpha_a^{(h,l)}=\varepsilon+\lambda p_{\mathrm{root}}^{(h,l)}(a),\qquad q_0^{(h)}(X)=\prod_{l=1}^{L_h}\mathrm{Dir}\!\left(x^{(l)};\alpha^{(h,l)}\right).\]其中 $\lambda$ 控制先验浓度,$\varepsilon>0$ 保证各分量为正;家族条件下先验逐位点独立,残基间依赖交由共享去噪器学习。缺口不属于氨基酸字母表,训练时排除缺口位置;生成时按家族列缺失率采样固定掩码,令这些位置漂移为零,解码后移除缺口。
谱系流与终点分类: 对目标残基的独热顶点 $e_i$,模型采用家族、位点特异的条件路径与向量场:
\[\begin{aligned} p_t^{(h,l)}(x\mid e_i)&=\mathrm{Dir}\!\left(x;\alpha^{(h,l)}+t_{\max}t e_i\right),\\ u_t^{(h,l)}(x\mid e_i)&=c_h^{(l)}(x_i,t)(e_i-x). \end{aligned}\]$t\in[0,1]$ 是归一化生成时间,$t_{\max}$ 控制朝目标顶点增加的浓度;速度系数 $c_h^{(l)}$ 由目标坐标的贝塔边缘分布及连续性方程确定。去噪器以 ESM-2 初始化的 Transformer 为主干,将连续输入嵌入为 $h_0^{(l)}=\sum_a x_a^{(l)}w_a$,其中 $w_a$ 是氨基酸嵌入,并加入时间条件。模型预测各位点终点残基概率,以交叉熵训练,再重建漂移:
\[\begin{aligned} \mathcal L(\theta)&=\mathbb E_{h,X_1,t,X_t}\!\left[-\frac{1}{|V(X_1)|}\sum_{l\in V(X_1)}\log\hat p_\theta\!\left(x_1^{(l)}\mid X_t,t\right)\right],\\ \hat v^{(h,l)}(X,t;\theta)&=\sum_{i=1}^{20}u_t^{(h,l)}\!\left(x^{(l)}\mid e_i\right)\hat p_\theta\!\left(x_1^{(l)}=e_i\mid X,t\right). \end{aligned}\]$V(X_1)$ 为有效对齐位点集合。家族信息由先验及解析向量场提供,不向去噪器额外输入家族标签或 MSA 提示。
中途突变与重路由: 推理先积分至 $t_{\mathrm{int}}$,再在该固定时刻对粒子群执行若干轮选择。突变优先作用于祖先先验熵较高的位点,将去噪后验与先验均值混合采样残基,再按该残基刷新狄利克雷状态。若 $K$ 为突变核、$J$ 为适应度分数,选择分布及粒子权重为:
\[p_{t_{\mathrm{int}}}^{\mathrm{sel}}(X)\propto(p_{t_{\mathrm{int}}}K)(X)e^{\beta J(X)},\qquad w_m=\frac{e^{\beta J(X^{(m)})}}{\sum_j e^{\beta J(X^{(j)})}}.\]$\beta$ 控制选择强度。具体打分结合 ESM-2 对软掩码位点的期望对数概率与突变位置的局部得分增量;按 $w_m$ 重采样扩增后选取高分粒子,继续原流至终点并逐位点取最大概率残基,无需每个积分步调用属性梯度。
⚪ SWITCHCRAFT:可组合多态约束与结构预测反向传播的状态切换蛋白质设计
单一静态结构不足以描述配体诱导的变构、结合开关或构象切换。SWITCHCRAFT 将这些功能编写为不同分子环境下的结构约束,让同一条待设计序列在多个状态中接受 Boltz-1 共折叠预测,再联合反向传播优化序列。
状态规格与基序约束: 每个状态 $s$ 对应折叠环境 $C_s$,其中固定分子可以是小分子、金属离子、核酸或蛋白质;环境中出现某分子并不意味着必须与它结合。输入还包括可设计位置掩码与固定基序序列。状态损失从 Boltz-1 的输出计算,缓存各状态预测后求和为全局目标 $\mathcal L(z)=\sum_n\mathcal L_n(z)$,其中 $z\in\mathbb R^{20\times L}$ 是逐残基氨基酸逻辑值,各损失也可依赖多个状态。对基序位置集合 $\mathcal M$,以目标 $C_\beta$ 坐标 $r_i$(甘氨酸用 $C_\alpha$)定义距离约束:
\[\mathcal L_{\mathrm{motif}}= \frac{1}{|\mathcal M|(|\mathcal M|-1)} \sum_{\substack{i,j\in\mathcal M\\i\ne j}}\sum_k p_{ijk}\left(d_k-\|r_i-r_j\|_2\right)^2.\]$p_{ijk}$ 是预测距离分布第 $k$ 个区间的概率,$d_k$ 是区间中点。正权重促进基序几何重建,负权重构成反基序损失;在未结合与结合状态中分别安排两者,即可指定正、负变构或两个基序的相互切换,而无需预先给出完整状态骨架。
接触置信度与跨态差异: 结合约束同时鼓励高接触概率与集中的近距离分布。记 $D_{ij}$ 为预测距离随机变量,阈值化熵及结合、内部接触损失为:
\[\begin{aligned} H_{<\kappa}(D_{ij})&=-\mathbb E[\log P(D_{ij})\mid D_{ij}<\kappa]\\ &=H(D_{ij}\mid D_{ij}<\kappa)-\log P(D_{ij}<\kappa),\\ \mathcal L_{\mathrm{binding}}&=\frac{1}{2c}\sum_{j\in\mathcal J_c}\sum_{i\in\mathcal I_2(j)}H_{<\kappa_b}(D_{ij}),\\ \mathcal L_{\mathrm{contact}}&=\frac{1}{L}\sum_{j=1}^L\min_{i:\,|i-j|\ge\Delta}H_{<\kappa_c}(D_{ij}). \end{aligned}\]$\kappa_b,\kappa_c$ 为结合与内部接触的距离阈值,$\Delta$ 排除序列近邻。结合损失中 $i$ 指蛋白质 $C_\beta$ 位点,$j$ 指配体词元;$\mathcal I_2(j)$ 选取阈值化熵最小的两个接触,$\mathcal J_c$ 再选取聚合分数最小的 $c$ 个配体词元。反结合损失使用负权重,每个状态均保留内部接触损失。跨态切换则比较同一残基对在两个环境中的距离分布:
\[\mathcal L_{\mathrm{conf\text{-}change}}(z;C_1,C_2) =-\frac{1}{L}\sum_{i=1}^L\max_{j\in[1,L]} \mathrm{JSD}\!\left(D_{ij}^{(1)}\|D_{ij}^{(2)}\right).\]其中 JSD 为詹森—香农散度;负号使最小化损失对应增大跨态差异,每个残基只聚合变化最大的残基对。
软硬退火与序列更新: 优化固定结构预测模型,仅更新可设计位置的 $z$。四阶段日程从连续表示探索逐步过渡到软分布退火,再用直通估计器(STE)处理离散序列:
\[\begin{aligned} z_{\mathrm{soft}}&=\mathrm{softmax}(z/\tau),\qquad z_{\mathrm{hard}}=\mathrm{onehot}(\arg\max z),\\ z_{\mathrm{st}}&=\mathrm{stopgrad}(z_{\mathrm{hard}}-z_{\mathrm{soft}})+z_{\mathrm{soft}},\\ z_{\mathrm{pseudo}}&=\beta z_{\mathrm{st}}+(1-\beta)\bigl[\gamma z_{\mathrm{soft}}+(1-\gamma)z\bigr]. \end{aligned}\]$\tau$ 为温度,$\beta,\gamma$ 调节离散、软分布与逻辑值的占比;固定基序位置在前向计算前钳制为独热编码,其余位置按 $z\leftarrow z-\alpha\nabla_z\mathcal L$ 更新,$\alpha$ 为步长。生物传感器流程先设计配体响应构象开关,再按未结合、结合状态的骨架二面角变化选择插入位点,接入环状置换绿色荧光蛋白(cpGFP),并筛查发色团接触是否随配体结合而改变。
⚪ MOMST:历史记忆自对比与帕累托对齐的多目标蛋白质测试时设计
多目标蛋白质设计需要在结构置信度、疏水暴露与形状等属性之间调整取舍,而不必为每组目标重新训练生成器。MOMST 在预训练掩码扩散模型的反复加噪—去噪循环中维护成功与失败样本的记忆,将历史经验转为残基级偏好,并用帕累托筛选与重采样选择下一轮序列。
双层记忆与结构属性反馈: 框架以 EvoDiff 为序列先验,在 20 种标准氨基酸与掩码词元构成的空间中编辑长度为 $L$ 的序列。每个历史条目记录序列及其多目标奖励向量。记忆库 $\mathcal M$ 分为保留历史高分序列的精英层和保留近期探索的滑动窗口层:前者提供稳定参考,后者包含最近的改进与失败。各目标奖励先按秩归一化,再按权重聚合用于精英排序。奖励由序列折叠后的结构计算,包括 ESMFold 的平均 pLDDT、疏水残基的溶剂可及表面积(SASA)、残基表面暴露及骨架到质心距离的离散程度;也可使用参考二级结构匹配或对齐后的骨架偏差。需要最小化的量转换为高分更优的奖励,反馈不要求可微。
成功—失败对比与残基分布调制: 对每个目标 $d$,按奖励分位数将记忆样本划入高分集合 $\mathcal M_{\mathrm{high}}^d$ 与低分集合 $\mathcal M_{\mathrm{low}}^d$。在位置 $i$ 上统计奖励加权的氨基酸频率:
\[\begin{aligned} p_d^{\mathrm{pos}}(a\mid x_t,\mathcal M)&= \frac{\sum_{s\in\mathcal M_{\mathrm{high}}^d}\tilde r_d(s)\mathbf1[s_i=a]} {\sum_{s\in\mathcal M_{\mathrm{high}}^d}\tilde r_d(s)+\varepsilon},\\ p_d^{\mathrm{neg}}(a\mid x_t,\mathcal M)&= \frac{\sum_{s\in\mathcal M_{\mathrm{low}}^d}\tilde r_d(s)\mathbf1[s_i=a]} {\sum_{s\in\mathcal M_{\mathrm{low}}^d}\tilde r_d(s)+\varepsilon}. \end{aligned}\]其中 $s_i$ 是历史序列在位置 $i$ 的残基,$a$ 是候选氨基酸,$\tilde r_d$ 为重标度奖励,$\varepsilon$ 用于数值稳定。框架将各目标的对数频率比聚合为偏好信号,并对当前预训练残基分布作指数调制与归一化:
\[\begin{aligned} s_{\mathcal M}(a\mid x_t)&=\sum_{d=1}^D w_d\left[\log p_d^{\mathrm{pos}}(a\mid x_t,\mathcal M)-\log p_d^{\mathrm{neg}}(a\mid x_t,\mathcal M)\right],\\ p_{\mathcal M}(a\mid x_t)&= \frac{p_{\mathrm{pre}}(a\mid x_t)e^{\lambda s_{\mathcal M}(a\mid x_t)}} {\sum_{a'}p_{\mathrm{pre}}(a'\mid x_t)e^{\lambda s_{\mathcal M}(a'\mid x_t)}}. \end{aligned}\]$D$ 是目标数,$w_d$ 表示相对重要性,$\lambda$ 控制对比引导强度。这里的自对比“学习”是推理期经验统计与采样概率修正,不更新扩散模型参数;高分样本常见残基获得正向偏好,低分样本常见残基受到抑制。
局部加权选择与全局帕累托重采样: 每次编辑从调制分布生成多个候选,以 $\sum_d w_d\mathrm{RankNorm}(r_d)$ 作局部选择。完成一轮轨迹后,框架按各目标奖励筛出非支配集合:
记非支配候选集合为 $\mathcal P$:不存在另一候选在所有目标上不差、且至少一个目标严格更好。
将 $\mathcal P$ 与历史精英合并为候选池 $\mathcal S_{\mathrm{pool}}$,在池内重新按秩归一化各目标,以最弱目标的相对得分进行全局重采样:
\[R_{\mathrm{pareto}}(s)=\min_d\mathrm{RankNorm}\!\left(r_d(s)\right),\qquad \omega_s=\frac{\exp\!\left(R_{\mathrm{pareto}}(s)/\alpha\right)} {\sum_{u\in\mathcal S_{\mathrm{pool}}}\exp\!\left(R_{\mathrm{pareto}}(u)/\alpha\right)}.\]$\alpha$ 控制重采样温度。局部加权分数负责候选编辑,全局最小秩分数优先补足相对较弱的目标;选中序列重新掩码部分位置进入下一轮,历史记忆随循环更新。
⚪ Proteo-R1:多模态残基推理与稀疏锚点条件化的抗体序列—结构共设计
直接生成几何结构难以显式表达“哪些残基负责关键相互作用”。Proteo-R1 将多模态分子理解与扩散生成分为两个专家:前者先选择抗体结合锚点并指定氨基酸身份,后者在这些残基级约束下联合生成互补决定区(CDR)的序列与全原子结构。
掩码重折叠与多模态理解: 任务固定抗原序列、结构、抗体框架区(FR)及复合物对接姿态,仅将 CDR 作为设计变量。设 $\mathcal I_{\mathrm{CDR}}$ 为待设计残基集合,$k_i$ 是氨基酸身份,$x_i\in\mathbb R^{n_i\times3}$ 是该残基的全原子坐标,学习目标为:
\[p\!\left(\{k_i,x_i\}_{i\in\mathcal I_{\mathrm{CDR}}}\mid \{k_j,x_j\}_{j\notin\mathcal I_{\mathrm{CDR}}},C\right).\]$C$ 表示可选的抗原表位、热点或功能约束。理解专家先将全部 CDR 身份替换为未知词元,再在固定非设计区域的条件下用 AlphaFold3 风格模型重折叠,不能读取天然 CDR 坐标。ESM-2 提供掩码序列表示 $h_i^{\mathrm{seq}}$;结构编码器在重折叠坐标上运行扩散条件化、原子注意力与扩散 Transformer,截断坐标解码头,得到残基表示 $h_i^{\mathrm{struct}}$。两种模态经投影、拼接与轻量 MLP 融合:
\[h_i^{\mathrm{und}}=\phi\!\left(W_{\mathrm{seq}}h_i^{\mathrm{seq}}\oplus W_{\mathrm{struct}}h_i^{\mathrm{struct}}\right).\]$W_{\mathrm{seq}},W_{\mathrm{struct}}$ 是可学习投影,$\oplus$ 表示拼接。融合表示与文本指令输入以 Qwen3 为主干的理解专家,用于分析残基环境与跨链界面,不在此阶段直接决定原子坐标。
身份钳制与稀疏嵌入锚定: 理解专家选出 $\mathcal I_{\mathrm{key}}\subseteq\mathcal I_{\mathrm{CDR}}$,为每个关键位点输出预测身份 $\hat k_i$ 与语言模型末层隐状态 $h_i^{\mathrm{LLM}}$。生成时,关键位点的身份保持固定,非关键 CDR 位点继续为未知词元;同时构造生成器输入嵌入:
\[e_i^{\mathrm{gen}}= \begin{cases} e(\hat k_i)+W_{\mathrm{proj}}h_i^{\mathrm{LLM}},&i\in\mathcal I_{\mathrm{key}},\\ e_{\langle X\rangle},&i\in\mathcal I_{\mathrm{CDR}}\setminus\mathcal I_{\mathrm{key}},\\ e(k_i),&i\notin\mathcal I_{\mathrm{CDR}}. \end{cases}\]$e(\cdot)$ 与 $e_{\langle X\rangle}$ 分别是生成器的身份与未知词元嵌入,$W_{\mathrm{proj}}$ 对齐两个专家的表示空间。该接口既保留带电或疏水锚点的离散身份,又传递其功能语境;锚定的是身份与表示,并非预先锁定锚点坐标。生成专家沿用 MFDesign 的 AlphaFold3 风格扩散架构,在固定抗原与框架条件下联合恢复其余 CDR 身份及设计区全原子几何,仅关键残基末层表示进入生成器,中间思维链(CoT)不作为扩散条件。
三阶段课程与联合训练: 首先冻结语言主干和蛋白质编码器,仅训练投影层,以 PDB 链级结构字段补全及文本描述建立模态对齐。随后解冻语言主干,依次学习残基索引与局部属性、成对几何、组合一致性及界面热点定位,并回放早期任务。最后在 SAbDab 抗体—抗原复合物上联合训练两个专家,保留结构推理辅助监督:
\[\begin{aligned} \mathcal L_{\mathrm{gen}}&=\mathbb E_{t,\epsilon}\!\left[ \frac{1}{|Z_x|}\sum_i\left\|\epsilon_i- \epsilon_\theta\!\left(Z_x^{(t)},Z_y,\{e_j^{\mathrm{gen}}\},t\right)[i]\right\|_2^2\right],\\ \mathcal L_{\mathrm{total}}&=\mathcal L_{\mathrm{gen}}+\lambda_{\mathrm{und}}\mathcal L_{\mathrm{und}}. \end{aligned}\]$Z_x^{(t)}$ 是设计区的加噪变量,$Z_y$ 是固定环境,$\epsilon_i$ 为注入噪声;$\mathcal L_{\mathrm{und}}$ 对关键残基标签与推理词元施加交叉熵监督,$\lambda_{\mathrm{und}}$ 调节其权重。生成损失经可微锚点嵌入回传理解专家,离散身份选择与中间推理文本不承担这条梯度通路。
⚪ IDEAS:结合特征归因与基序替换的可解释生物序列进化设计框架
针对传统进化算法依赖随机突变导致长序列扩展性差,而强化学习与深度生成模型在受限实验评估预算下样本需求量过大的问题,IDEAS 将可解释机器学习引入主动学习进化框架,利用位点归因分数识别高适应度序列中的关键基序(motif)并定向替换非显著区域,实现小样本预算下的生物序列定向进化。

位点归因建模与高适应度基序库构建: 在第 $t$ 轮迭代中,给定当前累积数据集 $D_{t-1}={(x_i,y_i)}$(其中 $x_i\in V^L$ 为长度为 $L$、词表为 $V$ 的氨基酸或核苷酸序列,$y_i=f(x_i)$ 为黑盒预言机评估的连续属性值),模型首先筛选属性值排名前 $B$ 的序列构成精英集 $D_{\mathrm{top}}$。随后在 $D_{t-1}$ 上以均方误差损失训练可解释代理模型 $\hat y_i = g(x_i;\theta)$,并提取 $D_{\mathrm{top}}$ 中每条序列的位点归因向量 $\phi_i = g_{\mathrm{att}}(x_i,\theta^*,\hat y_i)\in\mathbb R^L$(量化各位置对目标属性的正向贡献;代理模型默认采用将绝对值替换为 ReLU 激活以保留正向方向性的轻量级线性组合表征模型 COLOR,也可无缝替换为 DeepLIFT、Integrated Gradients 或 GradientSHAP)。接着,模型以窗口长度 $m$ 扫描 $x_i\in D_{\mathrm{top}}$ 的所有连续子序列 $s_j\in V^m$,计算其平均归因得分:
\[I_j = \frac1m\sum_{k=j}^{j+m-1}\phi_i[k], \quad j\in[0, L-m].\]汇总 $D_{\mathrm{top}}$ 中所有序列提取的元组 $(s_j, I_j)$,并将重复出现的相同基序归并、对其 $I_j$ 取均值,构建大小为 $n_m$ 的去重候选基序库 $M={(s_s, I_s)}_{s=0}^{n_m-1}$。
温度受控的可解释基序替换与主动进化: 对每条待突变精英序列 $x_i\in D_{\mathrm{top}}$,模型先计算其各起始位置 $j$ 的局部窗口归因和 $\psi_i[j] = \sum_{k=j}^{j+m-1}\phi_i[k]$,再结合位置温度 $\tau_1$ 与基序温度 $\tau_2$,分别构造待突变起始位点分布 $p_i[j]$ 与替换基序分布 $p_f[s]$:
\[p_i[j] = \frac{\exp(-\psi_i[j]/\tau_1)}{\sum_{k=0}^{L-m}\exp(-\psi_i[k]/\tau_1)}, \quad p_f[s] = \frac{\exp(I_s/\tau_2)}{\sum_{k=0}^{n_m-1}\exp(I_k/\tau_2)}.\]该分布设计使模型倾向于选中 $x_i$ 中归因贡献最低的非关键区域(低 $\psi_i[j]$ 对应高 $p_i[j]$),并用基序库 $M$ 中正向贡献最高的功能基序(高 $I_s$ 对应高 $p_f[s]$)进行替换:
\[j \sim \mathrm{Categorical}(p_i[0], \dots, p_i[L-m]), \\ s \sim \mathrm{Categorical}(p_f[0], \dots, p_f[n_m-1]).\]在生成新序列 $x_i^M$ 时,模型对每条 $x_i$ 依次执行两步串联突变:第一步采用低温参数执行开发式(exploitative)突变以定向提升目标属性,第二步采用高温参数(近似均匀采样)执行探索式(exploratory)突变以维持序列多样性。突变后的 $B$ 条序列交由预言机 $f(\cdot)$ 评估并并入数据集 $D_t = D_{t-1}\cup{(x_i^M, f(x_i^M))}_{i=0}^{B-1}$ 进入下一轮迭代;样本效率通过跨 $T$ 轮迭代的精英集平均属性曲线下面积量化:
\[\mathrm{AUC} = \int_0^T \frac1B\sum_{x\in D_{\mathrm{top}}(t)} f(x)\,dt.\]3.4 蛋白质相互作用
⚪ L3-PPI:虚拟三跳图提示与路径数正则的模型无关 PPI 分类头
- paper:Learning the Interaction Prior for Protein-Protein Interaction Prediction: A Model-Agnostic Approach
针对通用向量聚合难以表达蛋白质结合互补性、真实网络路径又难以覆盖未见蛋白质的问题,L3-PPI 依据“三跳路径越多,蛋白质对越可能相互作用”的 L3 规则,从已有蛋白质嵌入生成虚拟模式图,将成对 PPI 预测改写为图级分类。
真实模式图预训练: 在训练 PPI 网络中,模型用已有预测器提取节点嵌入,并以深度优先搜索收集查询蛋白质对之间的三跳路径,构造模式图 $G$。查询对是否存在相互作用决定图标签 $y$;这些图用于训练模式识别代理 $F_{\theta,\phi}$,其主干为图同构网络(GIN),经图级读出和分类头输出预测概率:
\[(\theta^*,\phi^*)=\arg\min_{\theta,\phi} \sum_{(G,y)\in\mathcal D_{\mathrm{pre}}} \operatorname{BCE}\big(y,F_{\theta,\phi}(G)\big).\]这里 $\theta,\phi$ 分别为图编码器和分类头参数,$\mathcal D_{\mathrm{pre}}$ 为模式图数据集,BCE 为二元交叉熵。该阶段学习真实网络中的模式分布,使后续虚拟图提示与代理的预训练任务保持一致。
共享提示节点与可微路径筛选: 对查询节点 $u,v$,框架冻结原预测器 $M$,以 $M(P_u),M(P_v)$ 作为节点属性,再加入 $K+1$ 个具有可学习嵌入的虚拟蛋白质节点。中心提示节点 $v_0^P$ 连接 $v$,其余节点 $v_i^P$ 同时连接 $u$ 与 $v_0^P$,形成 $K$ 条候选路径 $u\to v_i^P\to v_0^P\to v$。提示嵌入在所有查询对之间共享;图门控网络根据各路径的节点属性输出激活概率 $p_i$,再用 Gumbel-Softmax 重参数化:
\[g_i=\sigma\!\left( \frac{\log p_i-\log(1-p_i)+\epsilon_i-\epsilon_i'}{\tau} \right).\]$\sigma$ 为 Sigmoid,$\epsilon_i,\epsilon_i’$ 为独立的 Gumbel 噪声,$\tau$ 为训练中退火的温度。训练用连续门控回传梯度,并以边权控制路径保留;推理改用 $\mathbf1{p_i>0.5}$,无需在真实网络中寻找查询对的三跳连接。
路径数约束与两阶段提示调优: 令 $s=\sum_{i=1}^{K}p_i$ 为激活路径数的软估计,路径数正则对正样本设置下界、对负样本设置上界:
\[\mathcal L_{\mathrm{PN}}= \begin{cases} \max\!\big(0,K(1-1/\gamma)-s\big),&y=1,\\ \max\!\big(0,s-K/\gamma\big),&y=0. \end{cases}\]其中 $K$ 控制候选路径容量,$\gamma$ 控制两类样本的约束区间。筛选后的提示图 $G_F$ 输入冻结的代理,产生最终预测:
\[\hat y=F_{\theta^*,\phi^*}(G_F),\qquad \mathcal L_{\mathrm{tune}}= \operatorname{BCE}(y,\hat y)+\lambda\mathcal L_{\mathrm{PN}}.\]$\lambda$ 为正则权重。优化先保留全部路径,仅以分类损失训练提示嵌入;随后启用门控,以联合目标同时更新提示嵌入和门控网络,原蛋白质编码器与模式识别代理均保持冻结。
⚪ MMM-PPI:层级 motif 聚合与配对协同注意力的多模态蛋白质嵌入
针对扁平残基池化忽略功能基元、多模态信息仅在整蛋白层面融合的问题,MMM-PPI 将序列、结构和功能表示沿“残基—基元(motif)—蛋白质”逐级聚合,再由交互伙伴条件化的基元权重生成蛋白质嵌入,用于多标签 PPI 预测。
三模态残基编码与基元构建: 模型用 AlphaFold 结构库中的残基坐标构建共享异质图,包含序列相邻边、空间半径边和空间近邻边。冻结的 ESM2、预训练 MAPE-PPI 与 OntoProtein 分别提供序列、结构、功能初始特征,各模态再由独立异质图神经网络(HGNN)聚合:
\[\begin{aligned} h_{v,m}^{(l)}&=\operatorname{BN}\!\left[ \operatorname{ReLU}\!\left( W_{h,m}^{(l)}\sum_{r\in\mathcal R}W_{r,m}^{(l)} \sum_{u\in\mathcal N_r(v)}h_{u,m}^{(l-1)} \right)\right],\\ h_v&=\operatorname{concat}_{m}\big(h_{v,m}^{(L)}\big). \end{aligned}\]$m$ 为模态,$\mathcal R$ 为边类型集合,$\mathcal N_r(v)$ 为相应邻域,$W$ 为可学习矩阵,BN 表示批归一化,$h_v$ 为拼接后的残基表示。随后,FIMO 以 PROSITE 的位置特异评分矩阵扫描序列,保留满足显著性条件的基元实例,包括重叠实例:
\[h_{M_{ij}}=\sum_{v\in M_{ij}}h_v,\qquad H_i=[h_{M_{i1}},\ldots,h_{M_{ik_i}}]\in\mathbb R^{D\times k_i}.\]$M_{ij}$ 为蛋白质 $P_i$ 的第 $j$ 个基元,$k_i$ 为基元数,$D$ 为多模态特征维度。基元识别依据线性序列模式,而其表示继承残基图中的三维局部环境信息,并非直接挖掘三维几何基元。
伙伴条件化的基元协同注意力: 对蛋白质对 $(P_a,P_b)$,先以全部残基表示之和得到朴素蛋白质向量 $h_{P_a},h_{P_b}$,逐元素相乘形成全局交互条件。该条件调节每个基元的贡献,而不显式计算两蛋白质之间的逐基元对齐:
\[\begin{aligned} m_{ab}&=h_{P_a}\odot h_{P_b},\\ \beta_{a|b}&=\operatorname{softmax}\!\left[ w_a^\top\left(\tanh(W_a^qH_a)\odot\tanh(W_a^m m_{ab})\right) \right],\\ \tilde h_{a|b}&=\tanh\!\left(H_a\beta_{a|b}^{\top}\right). \end{aligned}\]$\odot$ 为逐元素乘法,交互条件沿基元维广播;$W_a^q,W_a^m$ 将基元和交互向量映射到同一潜空间,$w_a$ 产生基元注意力权重 $\beta_{a|b}$。交换两端可得到 $\tilde h_{b|a}$。因此,同一基元的权重随交互伙伴改变,多模态相关性也在该条件化过程中参与蛋白质级聚合。
监督预训练与网络级预测: 第一阶段将 $\tilde h_{a|b},\tilde h_{b|a}$ 拼接,接线性头,以训练交互的多标签二元交叉熵更新三个 HGNN 和基元协同注意力模块:
\[\mathcal L=-\sum_{(a,b)\in\mathcal X_K}\sum_{c\in\mathcal C} \left[y_{ab,c}\log\hat y_{ab,c}+ (1-y_{ab,c})\log(1-\hat y_{ab,c})\right].\]$\mathcal X_K$ 为训练交互集,$\mathcal C$ 为交互类型集合,$y_{ab,c}$ 与 $\hat y_{ab,c}$ 分别为标签和预测概率。第二阶段冻结层级编码器,将每个蛋白质面向不同伙伴的表示取均值作为 PPI 图节点特征,再训练 GIN 与线性预测头,仍使用上述损失。归纳设置仅以训练交互聚合训练节点特征;推理时才使用完整候选交互集生成上下文特征,避免测试对的上下文进入训练优化。
⚪ PPIRank:活跃区域检索与多源证据重排的 PPI 候选评测流程
该工作将 PPI 预测改写为实验候选排序:以目标蛋白质的已知伙伴为检索锚点,利用预测接触图定位交互相关区域,再比较结构与功能语义等重排信号,并以数据库版本更新检验新伙伴能否提前进入候选列表。
时间迁移基准与任务构建: 基准以人类 STRING v11 的已知交互为先验,以 v12 新增且不与旧版重叠的约 $28$ 万条正例为评测目标。数据保留有实验支持的结合交互,过滤序列长度并去除高相似冗余,随机非交互配对构成负例背景。对目标 $p$,已知伙伴集合记为 $K(p)$,新增伙伴为 $N(p)$,候选是非已知伙伴。外部评测使用 PiNUI,其正例来自 IntAct,近均匀负例用于减少共表达和定位偏差。附录规定 D-SCRIPT 评测仅保留预测交互得分不低于 $0.5$ 的蛋白质对。
区域检索与独立重排协议: D-SCRIPT 或 Topsy-Turvy 输出残基嵌入 $z$ 和目标—已知伙伴接触图 $C$。对伙伴 $p_k$,先取各残基与目标的最大接触概率,再从高激活残基的极大连续区间中选择平均激活最高的 $I_k$:
\[\begin{aligned} a_j^{(k)}&=\max_i C(p,p_k)_{ij},\\ R_p(p_c)&=\max_{p_k\in K(p)}\max_{w\in\mathcal W_{|I_k|}(p_c)} \cos\!\left(\operatorname{vec}z_k[I_k],\operatorname{vec}z_c[w]\right). \end{aligned}\]$\mathcal W_{|I_k|}(p_c)$ 为候选序列中所有合法的同长连续窗口,$\operatorname{vec}$ 表示展平。候选按 $R_p$ 降序排列,区域长度由接触激活决定,而非固定窗口。重排分析以 D-SCRIPT 为主干,对前十候选比较不同证据;各信号分别生成新排序,不是加权融合为一个总分。
- 交互与结构证据: 直接使用 D-SCRIPT 交互概率重排;结构分支由 SpeedPPI 构建多序列比对(MSA),调用 AlphaFold2 预测二聚体,再按复合物质量分数 pDockQ 排序:
其中界面平均置信度和接触数 $n_{\mathrm{contact}}$ 构成输入,$L,k,x_0,b$ 是校准常数;并列时依次参考界面置信度与接触数。
- 注释与语言证据: 将 UniProt 功能、结构域、通路、复合物及亚细胞定位信息组成文本档案,比较以下排序得分:
$v$ 为 TF-IDF 向量;$J$ 分别用于词元、定位和关键角色词集合。$\phi$ 为 Sentence-BioBERT 或 BioMedRoBERTa 的文本表示。最后一式来自联合编码目标与候选档案的 PubMedBERT 交叉编码器,$\hat s$ 为其输出分数;模型仅用 v11 交互微调,按蛋白质身份分组验证,再对每个目标的候选分数归一化。
评测指标与关键发现: 检索报告 Recall@k、Precision@k、MAP@k、nDCG@k、MRR 等指标;重排以保持或改善比例(MOI)衡量已再发现伙伴的名次变化:
\[\operatorname{MOI}(A\to B)= \frac{\sum_{(p,p_c)\in\mathcal N}\mathbf1\{r_B(p,p_c)\le r_A(p,p_c)\}} {|\mathcal N|}.\]$\mathcal N$ 为重排评测中的新增正例,$r_A,r_B$ 为两个排序的名次,数值越小越靠前。
- 检索信号与预测概率不同: 活跃区域相似度将新增伙伴向早期名次集中;PiNUI 上也扩大再发现覆盖,但早期排序与覆盖需分别考察。
- 证据承担不同角色: PubMedBERT 的联合语义编码提供排序改进;交互得分、定位及关键词也贡献不同的重排信号。结构合理性更适合候选过滤,而不是直接决定早期顺序。
3.5 评测与基准
⚪ FLIP2:多功能适应度景观与分布偏移的蛋白质外推评测
- paper:FLIP2: Expanding Protein Fitness Landscape Benchmarks for Real-World Machine Learning Applications
蛋白质工程常需从已测变体预测更多突变、未测位点或其他野生型背景,随机划分并不对应这些条件。FLIP2 扩充序列—适应度景观,并按不同外推情境比较进化先验、线性回归与蛋白语言模型微调。
功能景观与外推划分: 七个新增数据集覆盖淀粉酶、亚胺还原酶、核酸酶与色氨酸合酶的活性相关测量,疏水核心突变的稳定性,视紫红质吸收峰,以及 PDZ3 与无序区短肽的结合。十六种划分归入五类:少突变到多突变、已测到未测位置、同位置不同氨基酸替换、低到高适应度,以及跨野生型或结构骨架迁移。淀粉酶按突变位点与活性中心的距离双向划分;TrpB 按组合景观的位置集合划分;PDZ3 从结构域单突变迁移到结构域—短肽双突变,测试对特意保留结合强于加性预测的非加性变体,以考察上位性。
进化先验与监督对照: 零样本模型包括 Dayhoff、CARP、ESM2 与 SaProt。对单野生型景观,掩码模型同时遮蔽突变位置,累加突变残基相对野生型残基的对数似然比;多野生型景观使用不遮蔽位置的整序列伪似然。Dayhoff 综合双向自回归似然,PDZ3 的两条序列分别评分再取平均。监督对照包含 One-hot 岭回归、拼接零样本分数的岭回归,以及 CARP、ESMC、SaProt 的随机初始化训练、全参微调与 LoRA。主指标 Spearman 秩相关衡量预测与实测适应度的排序一致性;另报告 NDCG,侧重高适应度候选的排序,并与相同训练样本量的随机划分比较。
跨景观关键发现: 在线性对照中,跨野生型、跨位置与低到高适应度划分通常比突变数、同位置不同替换更难。零样本似然更适合比较同一野生型的变体,跨蛋白或双蛋白结合景观表现不同,结构词元也未带来一致收益。拼接进化分数的线性模型保持竞争力,微调未在所有划分上改善零样本预测;位置外推中的变化尤其需要单独检验。不同景观的最优模型不同,应保留逐数据集、逐划分结果。
⚪ TEDBench / MiAE:大规模折叠分类基准与稀疏框架掩码预训练
该工作构建非冗余折叠分类基准 TEDBench,并提出掩码不变自编码器 MiAE:仅编码少量可见残基框架,再重建完整骨架,以高比例结构掩码学习可迁移表征。
域级标签与跨来源评测: TEDBench 将 TED 的结构域注释映射到 Foldseek 聚类后的 AlphaFold 代表结构,保留约四十六万个高置信蛋白结构。输入为结构及可选序列,目标取最大结构域的 CATH Topology 标签,而非同时分类全部结构域。稀有拓扑在同一 Architecture 父类内合并,形成 $965$ 类;另用 CATH v4.4 的约二万八千个非冗余实验结构检验跨来源迁移。协议区分从零监督训练、冻结编码器的线性探针与端到端微调,以各类别等权的宏平均 F1 为主指标,准确率为辅。
残基框架与稀疏不变编码: 残基 $i$ 的骨架原子 $\mathrm N,\mathrm C_\alpha,\mathrm C$ 定义局部框架:平移 $t_i$ 为 $\mathrm C_\alpha$ 坐标,旋转 $R_i$ 由骨架方向的正交基构造。
\[T_i=\begin{pmatrix}R_i&t_i\\0&1\end{pmatrix}\in\mathrm{SE}(3),\qquad p_{\mathrm{global}}=R_i p_{\mathrm{local}}+t_i.\]$p_{\mathrm{local}},p_{\mathrm{global}}$ 为同一点在局部与全局坐标系中的坐标。MiAE 均匀无放回采样可见框架,移除其余框架,掩码比例可达 $90\%$,减少仅靠邻近残基插值重建的机会。几何自注意力利用框架信息在全部可见残基间交互,保持对整体旋转和平移的不变性;随后加入位置嵌入并输入 Transformer。编码器不接收掩码词元,可选氨基酸嵌入也只保留可见残基。
全骨架重建与分类迁移: 轻量 Transformer 解码器按原位置合并可见表征与共享可学习掩码词元,重建骨架。预训练沿用 ESM3 的五项损失:
\[\mathcal L=\mathcal L_{\mathrm{dist}}+\mathcal L_{\mathrm{dir}}+\mathcal L_{\mathrm{binned\ dist}}+\mathcal L_{\mathrm{binned\ dir}}+\mathcal L_{\mathrm{inverse\ folding}}.\]前两项约束三种骨架原子的成对距离矩阵 $D$,及骨架方向、跨肽键向量与叉积向量的成对点积矩阵 $G$:
\[\begin{aligned} \mathcal L_{\mathrm{dist}}&=\operatorname{mean}\!\left[\min\!\left((\hat D-D)^2,c_{\mathrm{dist}}\right)\right],\\ \mathcal L_{\mathrm{dir}}&=\operatorname{mean}\!\left[\min\!\left((\hat G-G)^2,c_{\mathrm{dir}}\right)\right]. \end{aligned}\]帽号表示预测矩阵,$c_{\mathrm{dist}},c_{\mathrm{dir}}$ 为截断常数,运算逐元素进行。两个分箱项分别以骨架重建的 $\mathrm C_\beta$ 成对距离和归一化方向向量的点积为分类标签;逆折叠项以交叉熵预测残基身份。几何监督覆盖全部骨架,而非仅掩码区域。预训练后丢弃解码器,以完整结构输入编码器;线性探针均值池化末层残基表示,微调则使用分类词元。
⚪ PDFBench:功能条件生成的统一协议与多维指标关联评测
功能引导的蛋白质生成需要同时检验序列合理性、结构可折叠性与功能对齐。PDFBench 统一自然语言与关键词条件下的从头设计评测,并分析计算指标之间的关联,避免以单项得分替代设计质量。
功能输入与时间截断测试: 描述任务复用 Mol-Instructions 的蛋白质设计测试集 MolinstTest,包含约六千个功能—序列对。关键词任务新建 SwissTest,选取 Swiss-Prot 中于 $2025$ 年 $1$ 月至 $8$ 月新建的约一千个条目,分别使用分子功能 GO、InterPro(IPR) 或两者共同作为条件。关键词按结构域、家族、活性位点等类型转写为自然语言,使描述模型也能参与。八个蛋白生成模型使用公开权重,不再微调;关键词条件按支持词表跳过不支持的 IPR,或将 GO 替换为支持的祖先词。论文另在训练集可获取的模型上分析相同序列、相似功能描述的重叠,检查移除这些条目后的评测变化。
六维度量与功能参照: 合理性使用蛋白语言模型困惑度及重复度。新增 Repeat 识别长度不超过 $20$、连续重复至少三次的片段,并合并重叠区间:
\[\mathrm{Repeat}(P)=\frac{\left|\bigcup_{r\in\mathcal R(P)}r\right|}{L}.\]$P$ 为长度 $L$ 的序列,$\mathcal R(P)$ 为重复区间集合,分子是被覆盖的残基数;此处为比例,结果表按百分数展示。可折叠性使用 ESMFold 的平均 pLDDT 与 PAE,属于结构置信代理。语言对齐采用 ProTrek Score:
\[S(P,t)=\frac{\cos\!\left(e_{\mathrm{seq}}(P),e_{\mathrm{text}}(t)\right)}{\tau}.\]$t$ 为目标描述,$e_{\mathrm{seq}},e_{\mathrm{text}}$ 为 ProTrek 编码器,$\tau$ 为其温度;检索准确率统计正确描述是否在候选中得分最高。另以 EvoLlama 预测描述的一致性,以及 InterProScan、DeepGO-SE 相对参考序列预测注释的恢复率评估对齐。参考相似性比较序列、ESMFold 预测结构与 ESMScore 表征;新颖性查询外部序列或结构库,困难版本取一减最大匹配相似度;多样性取同功能生成序列或结构的平均成对差异。检索无匹配或成对相似度无法计算时,差异按 $1$ 计。
指标关联与关键发现: 在论文抽样分析中,低困惑度通常对应高 pLDDT 与低 PAE;高重复覆盖与较低结构可信度相关,但低重复度不足以保证可折叠性。高参考结构相似性常伴随较好语言对齐,反向关系并不必然成立。Pinal 与 ProDVa 的对齐和可折叠性得分较高,新颖性、多样性则呈现不同取舍。检索准确率随负例描述难度及候选数变化,比较时需固定检索协议并报告多维结果。
⚪ ProtDBench:验证器可配置与吞吐量感知的蛋白质结合体评测
结合体设计的计算成功率受结构验证器、过滤规则与采样预算共同影响。ProtDBench 将生成与评测解耦,先用湿实验标签分析验证器,再在固定协议下比较序列通过率、成功骨架产量与结构多样性。
实验参照与统一任务: 验证器分析采用未经 AlphaFold 预过滤的 Cao 数据,覆盖九个靶标、约四十八万个非结合体及一千余个实验结合体。单指标分析在负例子采样池中保留置信排序最优的 $1\%$,组合过滤则在完整候选池中评估,二者的实验成功率均指保留候选中的真实结合体比例,不能直接比较绝对值。生成评测另设十个靶标,包括多链复合物,对七种扩散或幻觉优化方法统一靶标结构、裁剪范围、结合热点与长度约束;随后用 ProteinMPNN 设计序列,以 AF2-IG-Easy 验证,另用 Protenix-Mini 检查协议敏感性。
成功定义与预算归一化: 对骨架 $B_i$ 的序列集合 $S_i$,固定验证器输出置信指标,过滤谓词 $F(s)\in{0,1}$ 联合界面 ipAE、ipTM、pLDDT 及结合态—游离态骨架偏差。生成评测的序列成功率仅为计算通过率,不是实验结合率:
\[\mathrm{SR}_{\mathrm{seq}}=\frac{\sum_{i=1}^{N}\sum_{s\in S_i}F(s)}{\sum_{i=1}^{N}|S_i|}.\]$N$ 为生成骨架数,任一关联序列通过即将该骨架计入 $N_{\mathrm{pass}}$。固定预算产量由完整流程时间归一化估计:
\[T_{\mathrm{tot}}=T_{\mathrm{sample}}+T_{\mathrm{MPNN}}+T_{\mathrm{eval}},\qquad N_{24\mathrm h}=\frac{24\,\mathrm{hours}}{T_{\mathrm{tot}}}N_{\mathrm{pass}}.\]三项时间分别对应骨架生成、逆折叠与验证;BindCraft 的生成计时排除内部轨迹检查,因此其产量按吞吐代理解释。Foldseek 仅聚类通过的骨架,得到成功结构簇集合 $\mathcal C_{\mathrm{pass}}$:
\[R_{\mathrm{cluster}}=\frac{|\mathcal C_{\mathrm{pass}}|}{N}\times100\%.\]分母是全部生成骨架,而非成功骨架,因此该指标同时反映通过情况与成功结构多样性。另报告所有关联序列经 Protenix-Mini 重预测后,与原设计骨架 RMSD 小于 $2.5\,\text{Å}$ 的比例,检验独立预测器的结构复现。
协议依赖与关键发现: 不同验证器保留的真实结合体集合并不一致,取并集提高召回,要求多模型一致则减少覆盖。高序列通过率不保证高预算产量:扩散方法的时间主要消耗于下游验证,幻觉优化主要消耗于生成。幻觉优化在该协议下表现出较高的成功结构簇比例;通过率、产量与簇指标描述不同评测维度,不能互相替代。
⚪ ProMiSE:生物组装体条件下的多态覆盖与构象偏置评测
单个静态结构的精度不能衡量蛋白质多态采样。ProMiSE 从天然生物组装体构建构象对,区分内禀、小分子诱导与蛋白互作诱导的变化,并追踪成对表征到结构输出的状态偏置。
构象对与存在性覆盖: 数据在 PDB 高序列一致性簇内按 TM-score 聚类,选取不同构象簇且得分小于 $0.8$ 的组装体对;去除晶体接触伪影、结合位点不一致条目及序列冗余,得到 $234$ 个序列簇、$577$ 个结构对。三组分别比较无配体单体间、游离态—小分子结合态、游离单体—多链组装体的变化,蛋白诱导组保持目标链的小分子谱一致。统一代表序列并保留相应伙伴,评测 AlphaFold3、Boltz-1/2、Chai-1;BioEmu 只用于内禀组。目标链对齐排除未解析或无序区。状态恢复要求 TM-score 大于 $0.8$ 且高于其他状态;内禀簇需在一百个样本中覆盖每个已知状态,诱导对需两种输入分别恢复对应状态,多个游离参考取最佳匹配。该协议检验状态是否被发现,不估计平衡态占比。
内部表征与外部偏置: 最终结构的结合态偏好沿用 ConfBench 归一化:
\[\mathrm{Struct}_{\mathrm{holo}}=\frac{d_{\mathrm{apo}}-d_{\mathrm{holo}}}{\sqrt{\tfrac12(d_{\mathrm{apo}}^2+d_{\mathrm{holo}}^2+d_{\mathrm{ref}}^2)}}.\]$d_{\mathrm{apo}},d_{\mathrm{holo}}$ 为预测到游离、结合参考的 RMSD,$d_{\mathrm{ref}}$ 为两参考间的 RMSD。结构生成前,距离分布 $p_{ij}(d)$ 的期望误差定义为:
\[\begin{aligned} E_s^{\mathrm{dyn}}&=\frac{1}{|\mathcal P_{\mathrm{dyn}}|}\sum_{(i,j)\in\mathcal P_{\mathrm{dyn}}}\int|d-d_s^{(ij)}|p_{ij}(d)\,\mathrm d d,\\ \mathrm{DynDisto}_{\mathrm{holo}}&=\frac{E_{\mathrm{apo}}^{\mathrm{dyn}}-E_{\mathrm{holo}}^{\mathrm{dyn}}}{\sqrt{\tfrac12[(E_{\mathrm{apo}}^{\mathrm{dyn}})^2+(E_{\mathrm{holo}}^{\mathrm{dyn}})^2+(E_{\mathrm{ref}}^{\mathrm{dyn}})^2]}}. \end{aligned}\]$s$ 指游离或结合态,$d_s^{(ij)}$ 为其残基对的 $\mathrm C_\beta$ 距离,甘氨酸用 $\mathrm C_\alpha$;$\mathcal P_{\mathrm{dyn}}$ 含两态距离变化超过 $3\,\text{Å}$ 的残基对,$E_{\mathrm{ref}}^{\mathrm{dyn}}$ 为这些变化的均值。外部偏置取相对差:
\[\mathrm{Train}_{\mathrm{holo}}=\frac{H_{\mathrm{holo}}-H_{\mathrm{apo}}}{H_{\mathrm{holo}}+H_{\mathrm{apo}}},\qquad \mathrm{MSA}_{\mathrm{holo}}=\frac{A_{\mathrm{holo}}-A_{\mathrm{apo}}}{A_{\mathrm{holo}}+A_{\mathrm{apo}}}.\]$H_s$ 为相似训练条目按聚类规模、链或界面采样权重及蛋白、配体数估计的有效曝光;$A_s$ 汇总 MSA Transformer 对仅在状态 $s$ 存在的重原子接触的注意力,排除序列近邻。四项正值均表示结合态偏好;内禀组两态标签任意指定,无生物方向。Chai-1 不输入 MSA,也不参与该偏置分析。
分阶段关键发现: 内禀组主要出现单态或部分状态坍缩,小分子诱导组的游离输入常偏向结合态。控制 MSA 偏置后,结构相对距离分布新增的偏移与训练曝光偏置相关,支持解码阶段偏向常见训练状态的解释。冻结 AlphaFold2 上游表征、以 MD 轨迹训练结构解码器的 BioEmu,在给定距离分布下产生更宽的状态变化,为解码覆盖提供另一项对照。
4. 表观基因组学
4.1 DNA 甲基化与多模态
⚪ Bimodal masked language modeling for bulk RNA-seq and DNA methylation representation learning
5. 单细胞组学
5.1 扰动响应预测与评测
⚪ Beyond Independent Genes
⚪ Learning Adaptive Perturbation-Conditioned Contexts for Robust Transcriptional Response Prediction
- paper:Learning Adaptive Perturbation-Conditioned Contexts for Robust Transcriptional Response Prediction
⚪ Needles in the Haystack
⚪ PerturbDiff
⚪ What Makes a Representation Good for Single-Cell Perturbation Prediction?
⚪ scCBGM
⚪ scDEBART
⚪ PerturbODE:扰动下基因调控网络发现的可解释ODE
PerturbODE 将细胞在扰动条件 $I_r \in \mathcal{I}\setminus{I_0}$ 下的表达演化建模为神经常微分方程,通过一个隐式编码“共调控基因模块”的单隐层网络参数化漂移项,同时完成分化轨迹模拟、有向有环 GRN 提取与未见扰动效应预测。

模块化神经 ODE 与两类干预参数化: 记 $y^{(r)}(t)\in\mathbb{R}^d$ 为干预 $I_r$ 下细胞在时刻 $t$ 的 $d$ 维对数基因表达向量。对于不切断上游调控关系的非完美偏移干预(shift intervention,如外源过表达),其动力学方程定义为:
\[\frac{\partial y^{(r)}(t)}{\partial t} = A\sigma\big(\alpha \circ (By^{(r)}(t) - \beta)\big) + \sum_{j\in I_r} s_{j,r}\delta_j - Wy^{(r)}(t),\]其中矩阵 $B\in\mathbb{R}^{l\times d}$ 将 $d$ 个基因线性投影至 $l$ 个潜在“基因模块”,偏置 $\beta\in\mathbb{R}+^l$ 与缩放向量 $\alpha\in\mathbb{R}^l$ 分别控制模块的激活阈值与速率,逐元素 Sigmoid 激活函数 $\sigma(\cdot)$ 在对数表达空间中等价于描述转录因子浓度—转录速率关系的生物物理 Hill 函数;矩阵 $A\in\mathbb{R}^{d\times l}$ 再将模块激活映射回下游基因。通过低秩分解(将参数量从 $d^2$ 降至 $2dl$),底层因果 GRN 矩阵可直接由共享参数导出为 $G = A\operatorname{diag}(\alpha)B$。严格正对角矩阵 $W\in\mathbb{R}+^{d\times d}$ 建模 RNA 降解与细胞分裂稀释以形成稳定吸引域;标准基向量 $\delta_j=e_j\in\mathbb{R}^d$ 与可学习标量 $s_{j,r}$ 则表征干预 $I_r$ 对基因 $j$ 的特异诱导强度。
对于切断内源父节点调控的完美干预(perfect intervention,如 CRISPR 敲除或强激活),模型在生成项前乘以掩码矩阵 $M_r = I - \sum_{j\in I_r}\operatorname{diag}(\delta_j)$:
\[\frac{\partial y^{(r)}(t)}{\partial t} = M_r A\sigma\big(\alpha \circ (By^{(r)}(t) - \beta)\big) + \sum_{j\in I_r} s_j\delta_j - Wy^{(r)}(t),\]其中过表达设 $s_j>0$,基因敲除设 $s_j=0$。
最优传输损失与局部扩散稳定性正则: 由于未扰动初始对照细胞分布 $Y^{(0)}$ 与扰动后(如第 7 天)观测到的靶分布 $Y^{(r)}$ 之间不存在单细胞一一配对关系,模型通过五阶自适应龙格-库塔与伴随灵敏度法将对照细胞积分推进至时刻 $T$ 得到预测分布 $\hat Y^{(r)} = [\phi_T^r(y_1^{(0)}),\dots,\phi_T^r(y_{n_r}^{(0)})]^\top$,并采用基于 Sinkhorn 熵正则的 Wasserstein-2最优传输距离结合上游入边矩阵 $B$ 的 $L_1$ 稀疏惩罚(符合生物调控网中多输出前馈环远多于多输入前馈环的拓扑先验)进行端到端优化:
\[\begin{aligned} &\mathcal L(\theta) = W_2(Y^{(r)}, \hat Y^{(r)}) + \lambda\|B\|_1, \\ &W_2(X,\hat X) = \left(\min_{\Gamma\in\Pi(X,\hat X)}\sum_{x,y}\|X_x - \hat X_y\|_2^2\Gamma_{xy}\right)^{1/2}. \end{aligned}\]此外,为保证最终分化状态对应动力学系统的局部稳定不动点(从而在理论上等价于确定性结构因果模型 SCM),训练交替引入扩散正则化:对靶样本 $Y^{(r)}$ 施加步长为 $\Delta t$ 的布朗运动噪声得到 $Y_{\mathrm{diff}}^{(r)}$,将其在短时间窗口 $t\le T$ 内经流映射 $\phi_t^{(r)}$ 推进并最小化重建传输距离 $W_2(\hat Y_{\mathrm{diff}}^{(r)}, Y^{(r)}) + \lambda||B||_1$,迫使靶分布邻域形成局部压缩映射。
5.2 单细胞生成与基础模型
⚪ ScDiVa
⚪ Scalable Single-Cell Gene Expression Generation with Latent Diffusion Models
⚪ CountsDiff
5.3 轨迹、谱系与动力学
⚪ Beyond Continuity
⚪ CellBRIDGE
⚪ Leveraging Lineage Barcodes as Natural Augmentations for Contrastive Learning of Cell Fate in scRNA-seq Data
⚪ Trajectory Seriation via Spectral Tangent Alignment and Global Embedding
⚪ HDTree
⚪ Modeling Temporal scRNA-seq Data with Latent Gaussian Process and Optimal Transport
⚪ MMtSBM:多边缘时序 Schrödinger 桥匹配
MMtSBM 处理只有若干时间点边缘分布、没有配对轨迹的时序数据:给定时间网格 $t_0<\cdots<t_K$ 和边缘 $\mu_0,\dots,\mu_K$,求一个随机过程使它在各时刻命中对应边缘,同时尽量接近参考过程 $Q$:
\[P^\star=\arg\min_{P\in\mathcal P(\mathcal C)}\mathrm{KL}(P\|Q) \quad\text{s.t. }X_{t_k}\sim\mu_k,\ k=0,\dots,K.\]直接学习整条路径很难。作者利用多边缘 Schrödinger 桥的静态—动态等价性,把路径拆成“网格点上的耦合 + 相邻点之间的参考桥”:在 factorized reciprocal class 中,每个区间 $[t_i,t_{i+1}]$ 都填成 $Q$ 在端点 $(x_i,x_{i+1})$ 条件下的桥,而网格点上的边缘耦合负责跨区间一致性。算法 IMFF 交替做两类投影:Markovian 投影用 SDE/flow matching 学一个共享漂移,使整条过程马尔可夫;reciprocal 投影把区间重新填成 $Q$ 的桥,恢复局部桥结构。两者交替迭代,逐步逼近多边缘 Schrödinger 桥;每步只更新一侧时间点、另一侧取数据边缘,因此不要求配对轨迹。
⚪ WLM:从时序快照学习 Wasserstein 拉格朗日力学
WLM 把种群/细胞动力学写成 Wasserstein 空间中的最小作用量原理:给定若干时间快照,寻找密度曲线 $\rho_t$,使阻尼 Wasserstein 拉格朗日作用量最小。拉格朗日量取动能减势能:
\[\mathcal L[\rho_t,s_t] =e^{\gamma t}\left( \frac12\int\|\nabla s_t\|^2\rho_t\,dx-U[\rho_t] \right),\]其中 $s_t$ 是连续性方程 $\dot\rho_t=-\nabla\cdot(\rho_t\nabla s_t)$ 的势函数,$U[\rho]$ 是种群级势能,$\gamma\ge0$ 是阻尼。由最小作用量可导出 Hamiltonian 运动方程:
\[\dot s_t=-\frac12\|\nabla s_t\|^2-\frac{\delta U[\rho_t]}{\delta\rho_t}-\gamma s_t,\]等价于粒子层面的二阶动力学 $\dot x=v,\ \dot v=-\nabla_x\,\delta U/\delta\rho(x)-\gamma v$。WLM 不预设 $U$ 的形式,而用神经网络 $\Psi_\theta$ 参数化种群势能;训练时用 Leapfrog 积分器从初始粒子/速度滚动模拟,最小化模拟边缘与观测快照之间的 Sinkhorn divergence,并通过离散轨迹反传梯度。$\gamma$ 可固定或学习;当 $\gamma\to\infty$ 时退化为 Wasserstein 梯度流,$\gamma=0$ 且 $U$ 为线性期望时退化为经典力学。
5.4 表示、聚类与整合
⚪ Bipartite Graph Attention-based Clustering for Large-scale scRNA-seq Data
⚪ InfoGlobe
⚪ VBA
⚪ CONTEXTOR
5.5 GRN、多组学与跨模态翻译
⚪ Towards Universal Gene Regulatory Network Inference
⚪ Tri-Scale Neural ODEs for Continuous Multi-Omics Disease Modeling
⚪ scChord
5.6 数据与工具
⚪ scDataset
6. 影像组学
6.1 医学影像基础模型与多模态
⚪ Beyond Instance-Level Self-Supervision in 3D Multi-Modal Medical Imaging
⚪ M-IDoL
⚪ Rethinking Federated Prompt Learning for Medical Images
⚪ Foundation VAE for CT Reconstruction, Augmentation, and Generation
6.2 分子-图像联合建模
⚪ Cello:蛋白信号监督的细胞级病理图像聚合
- paper:Cello: A Universal Cell-wise Feature Aggregation framework for Reliable Pathology Images Analysis
Cello 针对 WSI 的 patch-level MIL 丢失细胞级证据的问题,用配对 H&E–mIF 的蛋白信号做细胞级监督。WSI 先切 patch,并用 Cellpose-SAM 得到每个 patch 内的细胞 mask $\Omega_{k,i}$;H&E 分支用 Transformer cell-wise encoder 得到细胞 token $T_{k,i}$ 和 patch CLS。mIF 分支在同一细胞区域池化 $P$ 个蛋白通道:
\[s_{k,i}=\frac1{|\Omega_{k,i}|}\sum_{(p,q)\in\Omega_{k,i}}X^{\mathrm{mIF}}_k(p,q,:)\in\mathbb R^P,\]再经 $E_{\mathrm{mIF}}$ 得到蛋白细胞 token $C_{k,i}$ 与 $\mathrm{CLS}^{\mathrm{mIF}}$。两分支在细胞 token 和 CLS 两级做双向对比对齐,把蛋白信号注入 H&E 表示;对齐后再用反向 cross-attention 把 patch 级上下文写回细胞 token。
局部层用原型对比学习:把 patch CLS 投影为 $v_k$,K-means 初始化每类 $R$ 个可训练原型 $\hat\mu_{s,r}$,用 prototype-to-instance 对比损失拉近同类、推远异类:
\[\mathcal L_{\mathrm{loc}}=-\sum_{k\in D_{\mathrm{loc}}}\log \frac{\sum_{r=1}^R\exp(v_k^\top\hat\mu_{y_k,r}/\tau_{\mathrm{loc}})} {\sum_{s=1}^S\sum_{r=1}^R\exp(v_k^\top\hat\mu_{s,r}/\tau_{\mathrm{loc}})}.\]全局层用 gated-attention MIL 聚合 patch token 得到 slide 表示。可靠学习部分用局部原型匹配分数 $m_{k,s}$ 构造每个 patch 的证据 $e_k=\max_s m_{k,s}$,并以 $\bar\xi_k=\xi_k+\rho e_k$ 校准全局 attention logit,再最小化证据分布与校准 attention 的 KL;同时把局部原型对比梯度回传到 cell encoder,增强微病灶敏感性。
⚪ RNA-FM
⚪ Bio-FM Robustness:结合生物学数据扰动与机器学习表征变换的生物基础模型鲁棒性评测框架
针对生物基础模型(Bio-FMs)在实际部署中面对实验测定噪声与内部表征参数变动时的可靠性缺乏系统量化的问题,该工作提出了涵盖“生物学合理扰动”与“机器学习变换”的双轴鲁棒性评测框架,跨蛋白质序列、三维结构与冷冻电镜(cryo-EM)图像三种模态,系统标定了 11 个基础模型在功能预测、逆折叠、适应度预测与三维重构任务上的最坏情况性能下包络边界。

机器学习内部图变换与拓扑距离度量: 在固定生物输入数据的前提下,该维度探查结构感知模型在推理期对蛋白质图构建超参数的敏感性,包括空间邻近性距离阈值(如 GearNet、ESM-GearNet、ProNet 与 S3F 的上下界截断距离)、局部密度近邻上限(如 KNN 中的 $k$ 值)以及推理期坐标高斯噪声尺度。为量化默认图 $G=(V,E)$ 与变换后图 $G’=(V,E’)$(对应邻接矩阵 $A, A’$ 与拉普拉斯矩阵 $L, L’$)的结构偏移,框架定义三类图距离指标并以不相似度($1-\mathrm{Similarity}$)绘制性能退化边界:
\[\begin{aligned} &\mathrm{Jaccard}(G,G') = \frac{|E\cap E'|}{|E\cup E'|}, \\& d_{\mathrm{Frob}}(G,G') = \|A - A'\|_F, \\& d_{\mathrm{Spec}}(G,G') = \|\lambda(L) - \lambda(L')\|_2, \end{aligned}\]分别度量局部残基边重叠率、邻接矩阵整体变动幅度以及排序拉普拉斯特征值向量 $\lambda(\cdot)$ 反映的全局连通谱偏移。
生物学合理数据扰动集设计: 该维度按严重程度分级模拟实验测定与数据清洗中的物理与格式损坏,覆盖两类模态:
- 蛋白质结构(PDB)扰动: 包含 6 种几何与坐标级扰动——模拟热涨落的原子坐标高斯噪声 $\mathcal N(0,\sigma^2)$、模拟未解析柔性环区(loop)的链中段连续残基缺失、模拟低分辨率区域的侧链原子随机丢弃(保留主链 $\mathrm{N, CA, C, O}$ 与 $\mathrm{CB}$)、二硫键半胱氨酸 $\mathrm{SG}$ 原子断裂、脯氨酸前肽键($\mathrm{X-Pro}$)绕 $\mathrm{C}i\text{–}\mathrm{N}{i+1}$ 轴由反式(trans)向顺式(cis)的强制旋转翻转、以及局部残基各向异性缩放与剪切形变;以及 5 种注释与格式级扰动——编码原子迁移率与置信度的 B-factor 与占有率(occupancy)随机打乱或置零、原子名称列偏移与元素符号错配、残基同源误命名(如 $\mathrm{THR}\to\mathrm{SER}$)与插入码编号冲突、HEADER/TER/END 终止符截断、以及定义配体共价键的 CONECT 记录丢失。结构微扰幅度通过主链 $\mathrm{C}_\alpha\text{-}\mathrm{RMSD}$ 与全局拓扑 TM-score 双重标定。
-
冷冻电镜(MRC)二维颗粒图像扰动: 包含模拟探测器读出波动的加性高斯噪声、模拟低剂量单电子计数统计的泊松散粒噪声、模拟冰层厚度不均的乘性散斑噪声 $I’ = I + I\cdot\mathcal N(0,c)$、模拟衬度传递函数(CTF)高频衰减与离焦的高斯模糊、模拟弱相位物体的低对比度插值、模拟相机坏点的椒盐脉冲噪声、模拟电子束诱导非刚性形变的弹性位移场变换,以及模拟姿态估计误差的平面内随机旋转与傅里叶域平移;同时引入在 $\ell_\infty$ 球半径 $\epsilon$ 内最大化损失 $L$ 的投影梯度下降(PGD)对抗攻击以测试最坏情况边界:
\[x_{t+1} = \Pi_\epsilon\Big(x_t + \alpha\cdot\mathrm{sign}\big(\nabla_x L(\theta, x, y)\big)\Big),\]其中 $\alpha$ 为步长,$\Pi_\epsilon$ 为裁剪至 $[-\epsilon,\epsilon]$ 的投影算子;三维重构质量通过原子可解析度 Q-score 与金标准阈值 $\mathrm{FSC}=0.143$ 下的傅里叶壳层关联分辨率量化。
评测揭示了三项主要结论:
- 硬截断图拓扑的离散翻转脆弱性:相比传统序列比对工具(BLAST),结构图基础模型(如 GearNet)对空间距离截断半径的微小变动高度敏感(图不相似度仅偏离 $1\%$ 即可引发性能坍缩),其对空间距离截断的脆弱性高于局部密度近邻,原因在于预训练依赖干净 PDB 流形,硬距离阈值会将连续坐标微扰转化为离散的边增删,直接破坏消息传递路径;
- 冷冻电镜模型的跨颗粒统计去噪鲁棒性:除大幅度平面平移外,CryoDRGN 与 CryoNeRF 对各类图像退化乃至 PGD 对抗攻击均保持稳定的重构分辨率,归因于成千上万张二维投影在三维体素空间的信息聚合抵消了零均值噪声、连续隐空间避免了离散图拓扑断裂,以及极低信噪比原始电镜图赋予的去噪训练先验;
- 串联设计管线的置信度失真与误差放大:在“DiffAB / ProteinMPNN 序列设计 $\to$ AlphaFold3 结构预测 $\to$ Rosetta 自由能评估”以及“RFdiffusion2 活性位点骨架生成 $\to$ LigandMPNN $\to$ Chai-1 全原子验证”的串联管线中,微小的输入坐标噪声或残基缺失会导致终端设计成功率大幅下降,且上游 AlphaFold3 输出高度一致的置信度指标(pTM / iPTM)时,下游物理能量函数 Rosetta 仍会产生剧烈方差,表明上游基础模型隐含的局部几何微扰会在下游敏感物理评估器中被非线性放大。
7. 空间组学
7.1 组织学→空间转录组
⚪ FLAG
⚪ HEXST
- paper:HEXST: Hexagonal Shifted-Window Transformer for Spatial Transcriptomics Gene Expression Prediction
⚪ HiST
⚪ MoLF
⚪ Transitive Representation Learning Enhances Histopathology Annotation
7.2 空间转录组表示与去噪
⚪ SPATIA:融合跨尺度分层注意力与置信度重加权流匹配的空间细胞表型多模态建模
针对现有空间转录组方法难以在单细胞分辨率下联合建模细胞形态、基因表达与多尺度空间微环境,且破坏性测序无法提供微环境扰动前后的配对观测数据以预测表型转换的问题,SPATIA 构建了覆盖“细胞—微环境(niche)—全切片组织”三级层次的跨模态表征架构,并提出结合熵正则化最优传输(OT)置信度重加权与形态轮廓对齐的条件流匹配生成模块。

细胞—微环境—组织三级跨模态表征学习: 给定空间转录组数据集 $\mathcal D={(x_i, g_i, s_i)}{i=1}^N$(其中 $x_i$ 为按全局比例缩放并填充以屏蔽邻近细胞像素干扰的单细胞高分辨率裁剪图像,$g_i$ 为基因表达向量,$s_i$ 为空间坐标与状态注释),模型通过分层交叉注意力构建统一嵌入 $z_i = \mathcal F{\text{fusion}}(z_{\text{cell}}, z_{\text{niche}}, z_{\text{tissue}})$:
-
单细胞级(Cell Level):利用视觉 Transformer(ViT-MAE)编码细胞图像得到视觉词元 $X_{\text{cell}} = E_{\text{cell}}(x)$,并行采用预训练单细胞骨干网络(scPRINT)提取基因词元 $X_{\text{gene}} = E_{\text{gene}}(g)$,以视觉词元为查询执行交叉注意力融合:
\[z_{\text{cell}} = \mathrm{Attn}(Q = X_{\text{cell}},\, K = X_{\text{gene}},\, V = X_{\text{gene}});\] -
微环境与组织级(Niche & Tissue Levels):将落入局部网格内的邻近细胞嵌入池化为查询向量 $q_{\text{niche}} = \mathrm{Pool}({z_{\text{cell}}})$,与局部区域图像特征 $X_{\text{niche}} = E_{\text{niche}}(x_{\text{niche}})$ 执行交叉注意力计算微环境表示 $z_{\text{niche}} = \mathrm{Attn}(Q = q_{\text{niche}}, K = X_{\text{niche}}, V = X_{\text{niche}})$;随后在组织层结合位置编码聚合邻近 $z_{\text{niche}}$ 捕捉全切片长程空间依赖。预训练阶段通过图像解码器 $D_{\text{img}}$ 与基因掩码解码器 $D_{\text{gene}}$ 从同一 $z_{\text{cell}}$ 重构双模态输入以强制跨模态一致性,并保留对抗训练目标以消除批次效应:
\[\mathcal L_{\text{self-sup}} = \lambda_{\text{img}}\mathbb E\big[\|D_{\text{img}}(z_{\text{cell}}) - x\|_2^2\big] + \lambda_{\text{gene}}\mathbb E\big[\|D_{\text{gene}}(z_{\text{cell}}) - g\|_2^2\big].\]
基于基因空间最优传输的弱配对与置信度重加权: 为在缺失扰动前后同一细胞观测的条件下建模状态转换 $\tau = (s_{\text{ctrl}} \to s_{\text{tgt}})$,模型在满足同谱系、同微环境邻近约束的条件下,将控制集 $I_{\text{ctrl}}$ 与目标集 $I_{\text{tgt}}$ 的基因表达中心化并投影至主成分空间 $\tilde g_i = \mathrm{PCA}d(g_i - \bar g)$。定义成对传输代价 $C{ij} = ||\tilde g_i - \tilde g_j||2$,利用对数域 Sinkhorn 算法求解熵正则化最优传输耦合矩阵 $P^{*}$(其中 $H(P) = -\sum{ij} P_{ij}\log P_{ij}$ 为熵项,$u^{*}, v^{*}$ 为对偶势):
\[P^* = \arg\min_{P\in\Pi(\mu,\nu)}\langle P, C\rangle + \epsilon H(P) = \exp\!\Big(\big(-C + u^*\mathbf 1^\top + \mathbf 1 v^{*\top}\big)/\epsilon\Big).\]对每个控制细胞 $i$ 取最大耦合索引 $\pi(i) = \arg\max_{j\in I_{\text{tgt}}} P^{*}{ij}$ 构成弱监督对 $(x{\text{ctrl}}, x_{\text{tgt}}) = (x_i, x_{\pi(i)})$。为抑制错误配对引入的位移噪声,模型将最大耦合概率 $c(x_{\text{ctrl}}) = \max_{x_{\text{tgt}}} P^{*}(x_{\text{ctrl}}, x_{\text{tgt}})$ 转化为归一化训练权重 $w(x_{\text{ctrl}})$:
\[w(x_{\text{ctrl}}) = \frac{c(x_{\text{ctrl}})^\gamma}{\mathbb E_{x_{\text{ctrl}}}\big[c(x_{\text{ctrl}})^\gamma\big]}.\]空间扰动条件流匹配与形态轮廓分布对齐: 为在推理期无需输入单样本目标特征即可生成目标态形态分布,模型在训练集配对样本上预计算转换类型 $\tau$ 的期望基因偏移 $\Delta g = \mathbb E[g_{\text{tgt}} - g_{\text{ctrl}}]$ 与期望形态学(CellProfiler)特征偏移 $\Delta m = \mathbb E[M(x_{\text{tgt}}) - M(x_{\text{ctrl}})]$,投影为 $(\tilde\Delta g, \tilde\Delta m)$ 后与可学习转换词元 $z_{\text{trans}} = \mathrm{Embed}(\tau)$ 融合为转换描述符 $z_{\text{pert}} = \mathrm{MLP}{\text{pert}}([z{\text{trans}}; \tilde\Delta g; \tilde\Delta m])$,再结合单细胞控制上下文 $z_{\text{ctrl}}$ 构成总条件 $z_{\text{cond}}$。在图像隐空间端点 $\ell_{\text{ctrl}}, \ell_{\text{tgt}}$ 之间采样线性桥接轨迹 $\ell_\lambda = (1-\lambda)\ell_{\text{ctrl}} + \lambda\ell_{\text{tgt}}$($\lambda\sim\mathcal U(0,1)$,真实速度 $u = \ell_{\text{tgt}} - \ell_{\text{ctrl}}$),模型联合优化三项损失:
- 置信度加权流匹配损失:用 $w$ 降权模糊配对,拟合条件速度向量场 $v_\theta(\ell_\lambda, \lambda\mid z_{\text{cond}})$;
- 条件对比正则项:将正确转换 $\tau$ 替换为错误转换 $\tau^-\neq\tau$ 构造负条件 $z_{\text{cond}}^-$,施加截断边际约束以增强状态可辨识性;
- 形态轮廓切片 Wasserstein 距离(SWD)对齐:利用预训练并冻结的可微形态编码器 $\phi(\cdot)$ 提取生成图像与真实目标图像的形态特征分布 $\mathcal D_{\text{gen}}={\phi(\hat x_{\text{tgt}})}$ 与 $\mathcal D_{\text{real}}={\phi(x_{\text{tgt}})}$,在分布层面约束生物学形态保真度:
⚪ SpaEF:融合多模态大模型先验与逐元素图自编码器的空间转录组去噪框架
针对空间转录组(SRT)去噪中依赖组织学图像构建捕获点(spot)图易引入染色伪相似性偏置、仅靠线性共表达构建基因图难以捕捉非线性功能关联,以及全局矩阵级加权融合忽略矩阵元素异质性的问题,SpaEF 引入冻结的跨模态预训练模型 OmiCLIP 与基因语义模型 GenePT 分别构建捕获点图与基因图,并通过逐元素图自编码器(EGAE)实现细粒度去噪。

结合 OmiCLIP 语义与图注意力的捕获点图构建(SGC): 给定表达矩阵 $B\in\mathbb{R}^{M\times N}$($M$ 个捕获点、$N$ 个基因)与空间坐标 $C\in\mathbb{R}^{M\times 2}$,模块首先在无需组织学图像的条件下提取捕获点语义特征:按表达量降序排列每个捕获点 $i$ 中的非管家基因,将前 $k_e$ 个高表达基因集合 $P_i^a$ 的名称 $V_j$ 拼接为“捕获点句子”,输入冻结的 OmiCLIP 文本编码器获取跨模态预训练语义嵌入 $b_i^a \in \mathbb{R}^{d_0}$;同时对坐标 $C$ 执行 Delaunay 三角剖分(DT)获取初始空间邻域 $\mathcal N_i^a$:
\[b_i^a = \mathrm{TextEnc}\Big(\big\Vert_{j\in P_i^a} V_j\Big), \quad \mathcal N_i^a = \{j \mid \text{edge }(i,j)\in\mathrm{DT}(C)\}.\]随后,基于多头图注意力网络(GAT)的图自编码器(AGAE)在空间图 $G_a=(B^a, \mathcal N^a)$ 上聚合邻域特征生成低维表示 $\tilde z_i^a \in \mathbb{R}^d$,并通过最小化原始空间邻接矩阵 $A_{i,j}^a=\mathbf{1}[j\in\mathcal N_i^a]$ 与内积重构邻接矩阵 $\hat A_{i,j}^a = \sigma(\tilde z_i^a \cdot \tilde z_j^a)$ 之间的二元交叉熵损失 $\mathcal L_{cs}$ 进行训练。最终,以 $B^\top$ 为节点特征、选取与 $\tilde z_i^a$ 余弦相似度最高的前 $k_s$ 个节点作为邻居集合 $\mathcal N_i^s$,构建捕获点图 $G_s=(B^\top, \mathcal N^s)$:
\[A_{i,j}^s = \mathbf{1}\!\left[j\in\arg\mathrm{top}(k_s)_{k\neq i}\frac{\tilde z_i^{a\top}\tilde z_k^a}{\|\tilde z_i^a\|\,\|\tilde z_k^a\|}\right].\]融合 GenePT 功能语义与共表达的基因图构建(GGC): 为兼顾非线性通路共享关系与组织微环境特异的共表达模式,模块将基因 $i$ 在 NCBI 数据库中的功能文本描述 $\mathrm{text}i$ 输入冻结的 GenePT 提取语义向量 $t_i=\mathrm{GenePT}(\mathrm{text}_i)$,并直接调用其预训练逻辑回归预测器(权重 $s$、偏置 $r$)推断基因对 $(i,j)$ 的功能互作概率 $p{i,j}$;同时计算基因表达向量 $b_i^g = B\cdot e_i$ 之间的皮尔逊相关系数,筛选与基因 $i$ 共表达相关性最高的前 $k_g$ 个基因构成候选集 $P_i^g$。仅当两项条件同时满足(交集过滤)时连接基因边,构建基因图 $G_g=(B, \mathcal N^g)$:
\[p_{i,j} = \frac{1}{1+\exp\!\big(-(s(t_i\Vert t_j))+r\big)}, \quad A_{i,j}^g = \mathbf{1}\!\left[j\in P_i^g \land p_{i,j} > \tau\right],\]其中 $\tau$ 为互作概率阈值。
逐元素图自编码器重构与 ZINB 损失优化(EGAE): EGAE 采用两个独立的 GAT 特征自编码器(FAE,编码器与解码器均由两层“GAT + 线性映射”交替组成)分别在捕获点图 $G_s$ 与基因图 $G_g$ 上执行消息传递与特征重构,输出捕获点视角去噪矩阵 $B^s\in\mathbb{R}^{M\times N}$ 与基因视角去噪矩阵 $B^g\in\mathbb{R}^{N\times M}$。随后通过逐元素加权相加(EWA)学习矩阵级自适应门控权重 $W\in\mathbb{R}^{M\times N}$ 融合双视角输出,得到最终去噪表达矩阵 $\hat B$:
\[\mathcal B_{i,j} = W_{i,j}\big(B_{i,j}^s + B_{j,i}^g\big), \quad \hat B = \sigma(\mathcal B)\odot B^s + \big(1 - \sigma(\mathcal B)\big)\odot (B^g)^\top,\]其中 $\sigma(\cdot)$ 为 Sigmoid 函数。针对空间转录组的高稀疏性与零膨胀特性,EGAE 将去噪矩阵 $\hat B$ 视为期望均值矩阵 $\mu$,结合零膨胀负二项分布(ZINB)负对数似然与均值 $\ell_2$ 正则项进行端到端优化:
\[\begin{aligned} &P(b_{i,j}=0) = \pi_{i,j} + (1-\pi_{i,j})\cdot\mathrm{NB}(0;\mu_{i,j},\theta_j), \\& P(b_{i,j}=k) = (1-\pi_{i,j})\cdot\mathrm{NB}(k;\mu_{i,j},\theta_j),\\ &\mathcal L_Z = -\sum_{i,j}\log P\big(b_{i,j}\mid \mu_{i,j},\theta_j,\pi_{i,j}\big) + \frac{\lambda}{MN}\sum_{i,j}(\mu_{i,j})^2, \end{aligned}\]其中 $\pi_{i,j}$ 为零膨胀 dropout 概率,$\theta_j$ 为基因 $j$ 特异的离散度参数,$\mathrm{NB}(\cdot)$ 为负二项分布概率质量函数。