用于单细胞转录组到蛋白质组翻译的预训练大型生成模型.

• paper：A pre-trained large generative model for translating single-cell transcriptomes to proteomes

0. TL; DR

scTranslator是一个无需对齐（align-free）的预训练大规模生成模型，能够通过已知的单细胞转录组数据来推断缺失的蛋白质组数据。系统性的基准测试证实了scTranslator在不同定量技术、细胞类型和条件下均表现出卓越的准确性、稳定性和灵活性。此外，scTranslator在多种下游分析和应用中也展示了其优越性，包括推断基因/蛋白质间的相互作用、进行基因伪敲除（pseudo-knockout）实验、提升细胞聚类和批次校正效果、在泛癌数据中识别细胞来源。

1. 背景介绍

自单细胞转录组测序（scRNA-seq）技术问世以来，生物学研究已进入以转录组学为主的单细胞分析时代。尽管scRNA-seq方法为许多生物系统提供了关于RNA景观的宝贵信息，但将其作为蛋白质水平的代理指标是有限的。蛋白质作为细胞过程的主要驱动者，其水平对于捕捉细胞分化、命运决定、信号通路和疾病进展中的分子机制至关重要。然而，单细胞蛋白质组学技术的局限性阻碍了相关数据的广泛生成和分析。

目前，单细胞蛋白质组学技术主要基于二代测序（NGS）或质谱（MS）。基于NGS的技术（如CITE-seq）依赖于经过验证的亲和试剂，其目标蛋白质数量有限，通常仅限于细胞表面蛋白。而基于MS的技术虽然能够分析数千种蛋白质，但容易受到实验和计算伪影的影响，最终可能损害数据质量。此外，这两种技术都面临批次效应、高成本和严格实验操作的共同障碍。

因此，开发用于预测蛋白质丰度的深度学习模型成为一种有价值的补充方法。现有的开创性工作如cTP-net和sciPENN存在一些局限性：

1. 模型可扩展性：无法利用或预测训练集中未出现过的基因或蛋白质。
2. 模型灵活性：在应用于新数据集之前需要进行特征对齐。
3. 预测范围：主要局限于细胞表面蛋白。
4. 下游应用有限：仅关注细胞注释和聚类等常见任务。

根据分子生物学的中心法则，RNA序列被翻译成氨基酸序列，最终形成蛋白质。这个从RNA到蛋白质的“翻译”过程与NLP中的机器翻译任务有着惊人的相似之处。受此启发，作者提出了scTranslator，这是首个用于将单细胞转录组“翻译”为蛋白质组的预训练、上下文感知和无需对齐的大型生成模型。通过在大量RNA和蛋白质数据上进行预训练，scTranslator不仅能够预测表面蛋白，还能预测细胞内蛋白，并且由于其创新的GPE模块，它可以灵活处理任意基因和蛋白质，无需特征对齐。

2. scTranslator框架

scTranslator遵循了在NLP和计算机视觉领域盛行的“预训练-微调”范式。其整体框架和在泛癌数据上的应用如图所示。

scTranslator的训练和使用分为三个阶段：

1. 阶段一：在成对的批量（bulk）数据上预训练。作者收集了涵盖31种癌症类型、18,227个病人样本的大规模批量RNA和蛋白质数据。在这一阶段，模型学习RNA与蛋白质（包括细胞内蛋白和表面蛋白）之间广泛且普遍的对应关系。
2. 阶段二：在成对的单细胞数据上继续预训练。使用第一阶段的预训练权重，模型在包含超过23万个细胞的单细胞多组学数据集上继续训练，以适应单细胞水平的数据特性。
3. 阶段三：在新的单细胞RNA数据集上进行推断。预训练好的scTranslator可以直接用于预测新数据集的蛋白质丰度，也可以使用少量新数据进行微调以获得更佳性能。

在所有训练阶段，模型都使用预测值与真实值之间的均方误差（MSE）作为损失函数。

scTranslator采用了类似于Transformer的编码器-解码器架构，并针对转录组和蛋白质组数据进行了定制化设计。

2.1 输入编码：重索引的基因位置编码（GPE）与表达值嵌入

传统的Transformer通过位置编码来区分序列中不同位置的词元。在生物学数据中，基因的身份（ID）比其在输入向量中的顺序位置更重要。为此，作者提出了重索引的基因位置编码（Re-indexed Gene Positional Encoding, GPE）。

作者首先从NCBI数据库中获取了所有官方认证的基因（约75,500个），并将其重新索引为离散的ID值。然后，通过一个可训练的嵌入层（embedding layer），将这些基因ID转换为连续的向量表示。该模块支持最多85,500个词汇，为未来的新基因发现预留了空间。

对于每个基因的RNA表达值，模型使用一个简单的线性嵌入层将其投影到一个预设维度的向量中。将基因的GPE向量和其表达值的嵌入向量相加，作为编码器的最终输入。这种设计使得模型能够同时利用基因的身份信息和其表达水平，并且由于GPE的存在，模型不再依赖于固定的基因顺序，从而实现了无需对齐（align-free）。

2.2 模型骨干：带有FAVOR+机制的Transformer

单细胞转录组数据通常包含数万个基因，这使得标准Transformer中$O(N^2)$复杂度的自注意力机制在计算上不可行。为了解决这个问题，scTranslator采用了Performer中提出的FAVOR+机制，一种线性复杂度的注意力近似方法。

标准注意力机制的计算如下：$Att_{\leftrightarrow}(Q, K, V) = D^{-1}AV$, 其中 $A = \exp(QK^T/\sqrt{d})$ 且 $D = \text{diag}(A\mathbf{1}_L) $。

FAVOR+ 通过一个广义的核函数$\phi(\cdot)$将查询$Q$和键$K$映射到新的空间，使得注意力矩阵$A$可以被近似为$A \simeq \phi(Q)\phi(K)^T = Q’(K’)^T$。这样，注意力的计算可以被重构为：$\hat{A}tt_{\leftrightarrow}(Q, K, V) = \hat{D}^{-1}(Q’((K’)^TV))$, 其中 $\hat{D} = \text{diag}(Q’((K’)^T \mathbf{1}_L))$。

这种近似将计算和空间复杂度从二次降低到线性，使得scTranslator能够有效处理长序列数据。

2.3 解码器：一次前向传播生成

与NLP中逐字生成的自回归（auto-regressive）解码器不同，scTranslator的解码器在一次前向传播中即可生成所有用户查询的蛋白质的丰度。解码器的输入是用户指定的蛋白质ID对应的GPE向量。这种非自回归的生成方式极大地提高了在预测长蛋白质序列时的推理效率。

3. 实验分析

3.1 scTranslator在预训练任务上的整体表现

作者首先评估了模型在预训练阶段的性能，以验证其可靠性。

• 图a：在样本（病人或细胞）层面，scTranslator在训练集和测试集上的表现（MSE和余弦相似度）非常接近，表明模型具有良好的泛化能力，没有发生过拟合。在批量数据上，余弦相似度超过0.98；在单细胞数据上，余弦相似度超过0.93。
• 图b, c：在单个蛋白质层面，scTranslator不仅能预测蛋白质（如CD45、CD49家族）的丰度，还能精确区分其功能相似的亚型（isoforms），如CD45RA、CD45RB和CD45RO。散点图显示预测值与真实值高度一致。
• 图d：在蛋白质可预测性方面，约97%的蛋白质预测值与真实值的余弦相似度超过0.8。功能富集分析表明，可预测性高的蛋白质主要富集于分子转导、信号受体等活动，而可预测性较低的蛋白质则与适应性免疫应答的调节有关。这反映了不同蛋白质翻译和降解速率的差异。

3.2 与SOTA模型的系统性基准比较

作者将scTranslator与两个最先进的模型（cTP-net和sciPENN）在三个不同测序技术来源的数据集上进行了严格的比较。为了验证预训练的有效性，作者还引入了未经预训练、直接在下游任务上训练的scTranslator-scratch版本。

实验设计了三种模式：

• 对齐（Aligned）实验：训练集和测试集的基因/蛋白质特征完全对齐。
• 非对齐（Unaligned）实验：通过随机打乱或选择部分基因，使训练集和测试集的特征不匹配，以测试模型的“无需对齐”能力。
• 少样本（Few-shot）实验：仅用20个细胞进行微调，测试模型在数据极其有限的情况下的学习能力。

结论：

• 图b（对齐实验）：scTranslator在所有三个数据集上的性能（更高的余弦相似度和更低的MSE）均显著优于cTP-net和sciPENN。
• 图c（非对齐实验）：scTranslator的性能几乎不受影响，而cTP-net和sciPENN由于无法处理非对齐特征，性能急剧下降（余弦相似度低于0.5）。这有力地证明了GPE模块的有效性。
• 图d（少样本实验）：在仅有20个细胞用于微调的情况下，预训练的scTranslator相比SOTA模型取得了更大的性能优势。这凸显了大规模预训练在迁移到新任务时的巨大价值。

在所有实验中，scTranslator不仅准确率最高，其性能分布的箱体也最窄，表明其结果稳定可靠。

3. 基于模型可解释性的调控关系推断

scTranslator的自注意力机制为探索数据驱动的调控机制提供了可能。

• 图a, b：通过分析编码器到解码器的注意力矩阵，可以发现某些基因（如TRIM39）对大多数蛋白质都有较高的注意力分数，可能是潜在的关键调控基因。对这些高注意力分数的基因进行功能富集分析，发现它们主要参与细胞过程调控、对刺激的响应等，这与CITE-seq测量的蛋白多为细胞表面蛋白的生物学事实相符。
• 图c（伪敲除实验）：作者通过在计算上“敲除”（即在输入中屏蔽）特定基因来模拟生物实验。例如，伪敲除TRIM39基因后，模型预测的一系列下游蛋白质丰度发生了广泛变化，这与该基因作为E3泛素连接酶的已知生物学功能一致。这种方法为探索基因功能提供了一种高效、低成本的计算模拟工具。

3.4 scTranslator在下游任务中的应用

作者进一步探索了由scTranslator生成的“伪蛋白质组”数据在下游分析中的价值。

• 图a-d（细胞类型识别与批次校正）：
  • 细胞类型识别：在UMAP图上，scTranslator预测的蛋白质丰度（图5b）相比原始RNA数据（图5d），能够更清晰地划分不同的细胞类型（如B细胞、T细胞等），其效果与真实蛋白质数据（图5c）相当甚至更好。
  • 批次校正：原始的蛋白质数据（图5a中）存在明显的批次效应（来自不同捐赠者的CD4 T细胞分成了三个簇）。而scTranslator预测的蛋白质数据（图5a左）有效地消除了这种批次效应，将所有CD4 T细胞聚合到一个簇中。
• 图e（细胞聚类性能）：在定量评估中，使用预测的蛋白质数据进行K-means聚类，其ARI、AMI和ASW得分均高于使用真实蛋白质或RNA数据，表明其聚类结果与真实细胞类型最吻合。
• 图f（批次校正性能）：在批次混合评估中，预测的蛋白质数据获得了更高的1-metric分数，表明其在混合不同批次方面做得更好。
• 图g（泛癌细胞来源识别）：在一个只有RNA数据的泛癌数据集中，作者使用预训练的scTranslator直接预测了蛋白质丰度。结果显示，使用“RNA + 预测的蛋白质”组成的多组学数据，在识别细胞是来自肿瘤组织还是正常组织的任务中，其准确率、f1分数和recall均优于仅使用RNA的单组学数据。

综上所述，scTranslator生成的蛋白质数据不仅保留了细胞间的异质性，还有效地校正了批次效应，并在缺乏蛋白质数据的场景下为下游分析提供了宝贵的额外信息。