scMMT: 单细胞RNA序列数据细胞标注、蛋白质预测与嵌入的多用途深度学习方法.

paper：scMMT: a multi-use deep learning approach for cell annotation, protein prediction and embedding in single-cell RNA-seq data

0. TL; DR

scMMT是一种用于单细胞 RNA 测序（scRNA-seq）数据的多任务深度学习框架。该方法结合了创新的特征提取技术（融合 TSVD、FA、ComBat 和 HVGs），利用 GradNorm 实现细胞类型注释与蛋白质表达预测的相互促进，并引入对数加权和标签平滑机制以增强对稀有细胞的识别并防止模型过度自信。广泛的实验表明，scMMT 在细胞类型注释、稀有细胞识别、抵抗 dropout 和标签噪声、蛋白质表达预测以及低维嵌入表示等多个方面均达到了最先进的性能。

1. 背景介绍

传统的批量测序方法往往忽略了固有的细胞异质性，而单细胞 RNA 测序（scRNA-seq）技术的出现通过在单细胞水平上识别和表征细胞差异，彻底改变了基因组学领域。准确注释 scRNA-seq 数据中的细胞类型对于全面了解复杂组织和器官内的细胞异质性至关重要，这在阐明疾病进展和肿瘤微环境等生物学和医学研究中具有核心地位。

随着多模态测序技术（如 CITE-seq）的出现以及对高精度细胞识别需求的增加，现有计算方法暴露出若干亟待解决的局限性：

现有方法往往过度依赖高度可变基因（HVGs），难以从非高度可变基因（non-HVGs）中提取有价值的信息并消除噪声，从而限制了对 scRNA-seq 数据的全面利用。
仅依赖 scRNA-seq 数据的方法在区分具有相似转录谱但功能截然不同的免疫细胞类别时面临巨大挑战。
生物系统中的细胞类型分布通常具有固有的不均匀性（即存在稀有细胞），再加上人工注释可能存在的错误（标签噪声），对细胞类型的准确预测构成了重大挑战。

为了充分利用 scRNA-seq 数据中丰富的生物学信息，作者开发了一种用于细胞注释、蛋白质表达预测和低维嵌入的新型深度学习方法，命名为 scMMT（single-cell multi-modal data and multi-task learning tool）。该方法不仅能够全面提取特征，还通过结合蛋白质信息和多任务学习机制，有效解决了免疫细胞难区分、稀有细胞难识别以及标签噪声干扰等核心问题。

2. scMMT方法

scMMT 的核心目标是使用 CITE-seq 数据集作为参考（reference），最大化 scRNA-seq 查询（query）数据集的分析价值。该模型构建了一个基于 GradNorm 的多任务学习框架，能够同时输出低维嵌入、细胞注释预测和蛋白质表达预测。

2.1 创新的多维特征提取

由于仅依赖 HVGs 会忽略非高度可变基因中的关键信息以及基因间的共现和生物学相互作用，作者采用了一种组合特征提取策略：

HVGs：提取 $550$ 个高度可变基因。
TSVD（截断奇异值分解）：用于解释原始变量的所有方差，弥补 HVGs 的局限性并消除噪声，提取 $300$ 个特征。
FA（因子分析）：描述原始变量相关矩阵内的相互依赖性，捕捉基因间的关系，提取 $180$ 个特征。

为了消除不同数据集之间的批次效应，作者在应用 TSVD 和 FA 之前使用了 ComBat 方法进行数据整合。最终，这三种视角提取的特征被拼接在一起作为神经网络的最终输入。

2.2 模型架构与多任务学习

scMMT 的神经网络结构以 ResNet 块为基本单元，以解决梯度消失/爆炸问题并加速收敛。网络主要包含输入块（Input block）、ResNet 块、嵌入块（Embedding block）以及两个独立的单任务块（分别通过线性层预测细胞类型和蛋白质表达量）。

作者使用审查损失函数（censored loss function）进行训练，重点关注每个细胞中已测量的蛋白质，从而允许整合具有不同蛋白质面板的多个 CITE-seq 数据集。预测细胞类型时使用标签平滑交叉熵（label smoothing cross-entropy）作为损失函数，预测蛋白质时使用均方误差（MSE）。

2.3 对数加权与标签平滑

针对样本不平衡问题，作者引入了对数加权（Logarithmic weighting）机制，为样本量较少的细胞类型分配更高的权重，其公式如下：

\[weight = \log \left( \frac{\sum count_i}{count_i} + \alpha \right)\]

其中，$count_i$ 代表每种细胞类型的样本数量，$\alpha > 0$。此外，为了减轻人工注释标签错误带来的负面影响，模型采用了标签平滑（label smoothing）机制，防止神经网络过度自信。

2.4 基于 GradNorm 的梯度平衡

为了在反向传播过程中平衡细胞类型注释和蛋白质预测这两个任务的梯度，使它们能够相互促进并减少过拟合，作者引入了 GradNorm 算法。其损失函数定义如下：

\[L_{grad}(t; w_i(t)) = \sum_i \left\| G^{(i)}_W(t) - \bar{G}_W(t) \times [r_i(t)]^\alpha \right\|_1\]

其中，$G^{(i)}_W(t)$ 代表所选权重 $W$ 下单任务加权损失梯度的 L2 范数；$\bar{G}_W(t)$ 代表训练时间 $t$ 所有任务的平均梯度范数；$r_i(t)$ 代表任务 $i$ 的相对逆训练速率。这一机制显著提高了模型训练阶段的稳定性和一致性。

3. 实验分析

作者在多个权威公共数据集（包括 160k PBMCs、COVID-19、H1N1 等）上对 scMMT 进行了全面评估。

3.1 细胞类型注释性能评估

作者验证了 scMMT 在细胞注释任务上的卓越表现：

图A：在 160k PBMCs 数据集的三个注释层级（l1, l2, l3，包含 $8, 31, 58$ 种细胞）和 COVID-19 数据集的热图评估中，scMMT 及其仅使用 RNA 的版本 scMMT_RNA 均展现出最高的准确率。随着注释精细度的增加，其优势愈发明显。
图B：混淆矩阵热图表明，scMMT 在所有 $8$ 种 l1 层级细胞中实现了最高的召回率，尤其是在极易被误分类的难识别细胞（如 other 和 other T 细胞）上表现优异。
图C：折线图展示了蛋白质信息比例对精度的影响。随着蛋白质特征比例的增加，三个层级的预测精度整体呈上升趋势，证明多模态信息有效提升了注释能力。
图D：UMAP 可视化图直观地对比了真实标签与预测标签。结论表明，在其他方法识别失败的特定区域，scMMT 能够准确框定并识别出复杂细胞类型（对应图中的红线区域）。
图E：任务权重变化图显示，多任务学习启动后，蛋白质预测任务迅速获得较大权重以抑制标签噪声，随后细胞注释任务权重逐渐增加以反哺蛋白质预测。
图F：损失变化折线图表明，与单任务学习相比，scMMT 的多任务学习使细胞注释和蛋白质预测的最终损失均达到了更低的水平，实现了相互促进。

3.2 稀有细胞类型识别能力

作者评估了模型处理极度不平衡数据的能力：

图A：饼图直观展示了 160k PBMCs 数据集中各层级细胞类型的极度不平衡分布。
图B：散点图显示，scMMT 在不同层级上均取得了最高的宏平均 F1 分数，且分数的方差最小，证明了其优越且稳定的识别能力。
图C：针对占比仅为 $2.7\%$ 的 $20$ 种最稀有细胞类型的箱线图表明，scMMT 和 scMMT_RNA 的 F1 分数显著高于所有对比方法。
图D：热图进一步详细列出了 $58$ 种细胞的 F1 分数随细胞数量变化的趋势，证明 scMMT 能够有效识别由于数量少且 RNA 表达相似而难以被传统方法捕捉的免疫亚群（如 CD4+ T、CD8+ T、NK 亚型等红框标记区域）。

3.3 抵抗 Dropout 和标签噪声的鲁棒性

作者设计了加噪实验以验证模型的鲁棒性：

图A：柱状图显示，随着模拟 dropout 噪声比例的增加，单一特征模型的精度受损严重，而采用多特征融合的 scMMT 展现出极强的抗干扰能力。
图B：折线图量化了特征融合的优势。在 $90\%$ 的 dropout 噪声下，多特征组合相比仅使用 HVGs 的精度提升接近 $3\%$。
图C：在训练集中人为引入错误细胞标签的折线图表明，当噪声比例达到 $50\%$ 时，大多数基线方法性能断崖式下跌，而 scMMT 仍保持 $>0.9$ 的准确率；即便在 $80\%$ 的极端噪声下，依然能维持约 $0.8$ 的准确率。
图D：针对抗噪性能排名前四的方法在稀有细胞上的 F1 箱线图表明，在标签噪声环境下，scMMT 识别稀有细胞的波动最小，稳定性最佳。

3.4 蛋白质表达水平预测

作者验证了蛋白质预测任务的准确性与生物学意义。无论是在 160k PBMCs 数据集内部，还是向 H1N1 数据集跨域预测，scMMT 均取得了最优的皮尔逊相关系数（PCC）和最低的均方根误差（RMSE）。

图A：疫苗接种响应的小提琴图表明，scMMT 准确捕捉到了 CD14、CD16 单核细胞和 cDC2 细胞中 CD169 蛋白在接种后第 $3$ 天表达量激增，并在第 $7$ 天回落的真实生物学趋势。
图B：柱状图展示的 Kruskal-Wallis 检验得分显示，scMMT 对三个时间点差异的刻画最接近真实数据（得分最高，偏差最小），完胜 sciPENN、WNN 和 totalVI。
图C：160k PBMCs 数据集中的常见标记蛋白（CD4-1、CD8、CD161）特征映射散点图表明，scMMT 预测值与真实表达量呈现出最高的空间分布相关性。
图D：在未见过的 H1N1 数据集上进行的特征映射图表明，scMMT 依然保持了最高的跨数据集相关系数，体现了极强的可迁移性（transferability）。

3.5 生成高质量的低维嵌入表示

作者评估了降维结果的一致性与批次效应消除能力：

图A：UMAP 降维分布图与调整兰德指数（ARI）表明，scMMT 的低维嵌入在区分不同细胞类型方面能力最强，取得了 $0.945$ 的最高 ARI 分数，远超仅使用 RNA 数据的方法，证明了多任务学习在融合多模态特征上的优势。
图B：整合 160k PBMCs 和 H1N1 数据集的 UMAP 分布图显示，scMMT、sciPENN 和 totalVI 能够使两个数据集的细胞均匀混合，结论表明 scMMT 在生成高质量表征的同时，极大地减轻了跨数据集的批次效应。