通过迁移学习把单细胞数据映射到参考图谱.

paper：Mapping single-cell data to reference atlases by transfer learning

0. TL; DR

scArches (single-cell architectural surgery)深度学习策略用于将查询（query）数据集映射到参考图谱上。采用了迁移学习（transfer learning），冻结了参考模型的大部分权重，只对与新数据集相关的、极少数的适配器权重进行微调（fine-tuning）。

scArches在去除技术性批次效应的同时，能够保留重要的生物学差异。例如，在将COVID-19病人的数据映射到一个健康参考图谱时，它成功地保留了疾病特异性的细胞状态。scArches可以推广到多模态参考图谱的映射，甚至能够为查询数据填补缺失的模态。

1. 背景介绍

大型单细胞参考图谱的构建，如人类细胞图谱（Human Cell Atlas）等项目，已成为常规。这些参考图谱为理解细胞异质性、自然变异及疾病状态提供了基础。利用这些参考图谱，研究人员有望实现对新查询（query）数据集的自动化注释，并进行跨组织、物种及疾病状态的比较分析。

然而，将查询数据集与这些公共参考图谱进行有效整合，面临着几个关键的技术挑战：

不同实验室、不同实验方案产生的技术性差异，即批次效应（Batch Effects），会严重干扰并掩盖真实的生物学信号。
传统的整合方法通常要求同时访问所有数据集的原始数据，但这在实践中常因隐私法规或数据所有权问题而无法实现。
每次新增数据时，从头（de novo）重新进行完整的整合分析，不仅需要专业的计算知识，也带来了巨大的计算资源开销。
因此，现有的整合范式通常将参考图谱视为一个静态（static）实体。任何新数据的加入都要求对整个数据集进行重新整合，这种模式缺乏效率和可扩展性。为了解决上述问题，亟需一种新的范式，将静态的、中心化的整合流程，转变为一种动态的（dynamic）、去中心化的（decentralized）映射框架。

该框架应允许用户：(1) 下载一个预先训练好的参考模型；(2) 在本地利用自己的查询数据，对参考模型进行快速、高效的更新；(3) 该更新过程应在不访问原始参考数据、不破坏参考模型主体结构的前提下完成。

为了实现这一目标，作者从计算机视觉和自然语言处理领域的成功实践中获得启发，将迁移学习（transfer learning）的思想引入到单细胞数据分析中，并为此设计了一种名为架构手术（architectural surgery）的独特技术。scArches框架便是在此基础上构建的。

2. scArches 方法

scArches的核心是一种被称为架构手术（architectural surgery）的迁移学习（transfer learning）策略。它可以被应用于任何条件化的深度学习模型，如CVAE, scVI, scANVI, totalVI等。

2.1 条件化自编码器 (CVAE)

scArches的底座通常是一个条件化变分自编码器（Conditional Variational Autoencoder, CVAE）。在训练一个多数据集的参考图谱时，CVAE不仅接收细胞的基因表达谱 $X$ 作为输入，还接收一个条件标签（condition label） $S$（如批次ID**、实验室来源等）。

CVAE的目标是学习一个潜在空间**（latent space） $Z$，在这个空间中，由条件标签 $S$ 引起的批次效应被“回归掉”，而生物学差异被保留下来。

2.2 架构手术 (Architectural Surgery)

传统的CVAE一旦训练完成，其网络架构就是固定的。它无法直接处理一个新的、在训练时从未见过的查询数据集（因为它没有对应的输入节点）。架构手术正是为了解决这个问题。

对于一个已经训练好的、包含$N$个参考研究的参考模型，作者对其输入层进行“手术”。假设现在有一个新的查询数据集，为它在模型的条件标签输入层中，增加一个新的输入节点。这个新的节点及其连接权重，被称为适配器（adaptor）。这个操作在编码器和解码器的第一层都会进行。

在将查询数据映射到参考图谱时，作者采用了迁移学习的策略。参考模型中绝大部分的原始权重（即与$N$个参考研究相关的权重）被冻结，保持不变。只有新植入的适配器权重，以及与之直接相关的少量参数，是可训练的。

其数学原理可以表示为，在更新编码器的参数 $\phi$ 时，只计算损失函数关于新适配器权重 $\phi_{s’}$ 的梯度：

\[\nabla_{\phi_{s'}} L_{scArches}(x, s, s'; \theta, \phi) = \nabla_{f_1} L_{scArches}(x, s, s'; \phi) \cdot \nabla_{\phi_{s'}} f_1(x, s, s'; \phi_x, \phi_s, \phi_{s'})\]

通过这种方式，scArches以极小的计算代价，将新的查询数据嵌入到已经存在的、稳定的参考空间中，同时保留了参考图谱的整体结构。

2.3 去中心化的参考图谱构建与共享

架构手术带来了一种全新的、去中心化（decentralized）的协作模式：

一个中心机构（如HCA）可以训练并发布一个高质量的参考模型（包含网络权重）。
世界各地的研究人员可以下载这个模型。
每个研究人员都可以在本地，用自己的查询数据，通过训练一个微小的适配器，将数据映射到这个公共参考上。这个过程无需上传原始数据。
用户甚至可以将自己训练好的适配器上传分享，供其他人在这个“社区版”的参考图谱上继续构建。

scArches将静态的参考图谱，变成了一个可由社区共同构建、不断生长的生态。

3. 实验分析

作者通过一系列精心设计的实验，从不同角度展示了scArches的性能、效率和通用性。

3.1 实验一：迭代式更新参考图谱

作者首先在一个包含多种测序技术的胰腺数据集上，模拟了迭代式地将新的查询数据集加入参考图谱的过程。

scArches（基于scVI和trVAE）成功地将两个查询研究（SS2和CelSeq2）依次整合到了一个已有的三组分参考图谱中。在整合过程中，不同研究中的相同细胞类型被完美地对齐和混合。更重要的是，对于查询数据中独有的、参考图谱中不存在的细胞类型（α细胞），scArches能够将它们识别出来，并映射到潜在空间中一个全新的、独立的区域（黑色虚线圈）。这证明了scArches既能对齐已知，又能发现未知。

3.2 实验二：微调策略与效率分析

作者在一个包含超过25万个细胞的小鼠大脑图谱上，比较了三种不同的微调策略：1) 仅微调适配器（scArches的策略）；2) 微调输入层；3) 微调所有权重。

在多个基础模型（trVAE, scANVI, scVI）上，仅微调适配器的策略，在批次校正和生物学信息保留的综合得分上，都取得了与微调所有权重相当甚至更优的性能。与此同时，仅微调适配器所需训练的参数量，比微调所有权重要少四到五个数量级。这证明了scArches的策略，在性能和效率之间取得了近乎完美的平衡。

3.3 实验三：参考图谱大小与质量的影响

作者在一个包含多种批次和细胞类型的人类免疫细胞数据集上，探究了构建一个“合格”的参考图谱需要多少数据。

scArches（基于scANVI）的映射性能，随着参考数据中所包含细胞比例的增加而显著提升。当参考数据包含超过50%的细胞时，模型能够清晰地区分出各种稀有的细胞亚群。这个趋势在多种基础模型上都是一致的。

与从头开始的de novo整合相比，scArches的参考映射性能与之相当，但速度快得多（高达8倍）。这说明，scArches的性能依赖于一个足够大且多样化的参考图谱，但一旦参考图谱建立，后续的映射就变得极其高效。

3.4 实验四：细胞类型注释与缺失模态填补

图a-e (细胞类型注释): 作者成功地将一个大规模的小鼠衰老图谱（Tabula Muris Senis）作为参考，为一个查询数据集（Tabula Muris）进行了自动化的细胞类型注释，准确率高达84%。对于查询数据中独有的、参考图谱中没有的组织（气管细胞），模型给出了很高的不确定性分数（uncertainty score），成功地识别出了“未知”类别。
图f-h (缺失模态填补): 作者利用一个CITE-seq参考图谱（同时包含RNA和蛋白质数据），成功地为一个只有RNA-seq数据的查询数据集，填补（imputation）了其缺失的蛋白质表达谱。填补出的蛋白质表达，能够清晰地区分出T细胞、B细胞和单核细胞等主要免疫细胞群体。

3.5 实验五：保留疾病特异性状态

这个实验旨在验证scArches在去除技术性批次效应的同时，是否会错误地去除掉重要的疾病特异性生物学信号。

作者将来自COVID-19病人的肺泡灌洗液样本，映射到一个大规模的健康免疫细胞参考图谱上。结果显示，来自健康对照的组织驻留肺泡巨噬细胞（TRAMs）与参考图谱中的TRAMs很好地整合在了一起。而疾病状态下特有的、由单核细胞分化而来的炎症性肺泡巨噬细胞（MoAMs），则被正确地映射到了一个全新的、与单核细胞更近的区域，并没有被错误地与健康的TRAMs混合。

同样，来自COVID-19病人的、表达干扰素反应基因的活化CD8+ T细胞，也与参考图谱中的初始CD8+ T细胞清晰地分离开。这个实验完美地证明了，scArches能够智能地区分技术差异和生物学差异，在校正批次的同时，精准地保留了疾病相关的、新的细胞状态。