通过增强对比学习与差分注意力机制实现多组学单细胞数据对齐与整合.
0. TL; DR
scECDA是一种单细胞多组学数据对齐与整合方法，为每种组学数据设计了独立的自编码器，使其能够自主学习各模态的特征分布；采用了一种增强的对比学习策略，通过在潜在空间中对特征进行微小扰动来生成正负样本对。在融合不同组学的潜在特征时，使用一种差分注意力机制，更有效地放大关键特征的信号，同时抑制无关特征的噪声，从而提高信噪比。
在八个配对的单细胞多组学数据集上，与八种SOTA方法的比较表明，scECDA在细胞聚类方面表现出更高的准确性。此外，通过分析其潜在特征，scECDA能够有效地识别关键的生物标志物、恢复簇特异性的motif并推断细胞轨迹。
1. 背景介绍
单细胞多组学技术，如scRNA-seq, scATAC-seq, 和CITE-seq，为我们以前所未有的分辨率同时审视细胞的多个分子层面提供了可能。将这些数据整合起来，对于理解细胞异质性、推断调控网络和发现新的细胞亚型至关重要。
然而，现有的计算整合方法，尽管种类繁多，但普遍面临着挑战：
- 对数据分布的强假设： 许多方法，如totalVI，依赖于特定的概率分布（如负二项分布）来建模数据。当真实数据不符合这些假设时，其性能可能会受到影响。
- 对噪声的敏感性： 单细胞数据，特别是scATAC-seq，具有高度的稀疏性和噪声。基于锚点（Anchor-based）或矩阵分解（Matrix factorization-based）的方法，在处理低质量数据时，容易产生错误的对齐或引入噪声，从而影响整合效果。
- 对下游聚类方法的依赖： 大多数整合方法（如Mowgli）只负责生成一个整合后的低维表示，而细胞亚型的最终识别，则需要依赖一个独立的聚类算法（如Leiden或K-means）。这种两步走的策略存在明显问题：
- 结果归因不清： 我们无法判断，一个好的聚类结果究竟是得益于强大的整合模型，还是仅仅因为碰巧选择了一个合适的聚类算法和参数。
- 增加复杂性与不确定性： 引入额外的步骤和参数，使得分析流程更加复杂，结果也更不稳定。
为了系统性地解决这些问题，作者提出了scECDA。它旨在通过一个端到端的深度学习框架，实现从特征提取、对齐、融合到最终聚类的一体化，并通过引入增强的对比学习和差分注意力机制，来提高整合的鲁棒性和准确性。
2. scECDA 方法
scECDA的框架由三个核心阶段构成：多组学特征提取、潜在特征对齐与融合，以及聚类分析。
2.1 第一阶段：独立的自编码器进行特征提取
为了尊重和保留每种组学数据的独特性，scECDA的第一步是为每一种组学数据都训练一个独立的自编码器。
对于第u种组学数据 $X_u$，作者使用一个编码器 $E_u$ 将其映射到一个低维的潜在空间，得到潜在表示 $Z_u$。
\[Z_u = E_u(X_u; \Theta_E^u)\]每个自编码器都通过最小化重构损失（reconstruction loss）来进行训练，即最小化原始输入 $X_u$ 与解码器重构出的数据 $\hat{X}_u$ 之间的均方误差。
\[L_{reconstruction}^u = \|X_u - \hat{X}_u\|^2\]考虑到scATAC-seq等数据的高稀疏性和噪声，作者对初步提取的潜在特征 $Z_u$ 进行了一个平滑去噪处理。通过一个基于学生t-分布的空间变换，增强特征表示的稳定性和鲁棒性。
2.2 第二阶段：潜在特征对齐与融合
scECDA通过增强的对比学习和差分注意力机制来实现跨组学信息的智能融合。
2.2.1 增强的对比学习 (Enhanced Contrastive Learning)
为了将来自同一个细胞的不同组学表示在潜在空间中“拉近”，作者采用了对比学习。其关键在于如何构建有效的“正样本对”和“负样本对”。
与在原始高维数据上进行扰动不同，scECDA创新性地在潜在空间中进行数据增强（data augmentation）。
作者构建一个与主编码器结构相同、参数共享的辅助编码器 $\tilde{E}_u$。通过在这个辅助编码器中加入一个Dropout层并注入微小的扰动 $\epsilon$，来为每个样本生成一个增强版的潜在表示 $\tilde{Z}_u$。这种在潜在空间进行扰动的方法，避免了破坏原始数据中的关键生物学信号，并且更具通用性。
来自同一个细胞的不同组学（或其增强版本）的潜在表示，构成正样本对($S_i^+$)。来自不同细胞的潜在表示，构成负样本对($S_i^-$)。模型通过一个对比损失函数（contrastive loss），来最大化正样本对之间的相似度，同时最小化负样本对之间的相似度。
2.2.2 差分注意力融合 (Differential Attention Fusion)
传统的自注意力（self-attention）机制在融合特征时，可能会过度关注不相关的特征，导致关键信息被削弱。差分注意力（differential attention）旨在通过增强关键特征的权重、抑制无关特征的权重，来提高信噪比。
将所有组学对齐后的潜在特征进行拼接，得到一个融合的特征矩阵 $Z$。从 $Z$ 中，通过线性变换生成两组Query-Key对：$(G_1, K_1)$ 和 $(G_2, K_2)$，以及一个Value矩阵 $Z_0$。
差分注意力的核心在于，其最终的注意力得分矩阵，是由两个独立的softmax注意力得分矩阵的差来计算的，并通过一个可学习的标量 $\lambda$ 进行调节。
\[O = \left( \text{softmax}\left(\frac{G_1 K_1^T}{\sqrt{f}}\right) - \lambda \cdot \text{softmax}\left(\frac{G_2 K_2^T}{\sqrt{f}}\right) \right) Z_0\]通过这种差分操作，模型能够更聚焦于那些在不同视角下都表现出高重要性的、真正关键的特征。
2.3 第三阶段：端到端聚类
scECDA框架的最后一步是一个聚类模块。它直接接收差分注意力融合后的最终特征表示 $H$ 作为输入。
该模块首先通过一个softmax层，计算每个细胞属于每个预定义类别的概率矩阵 $A$。为了使聚类结果更可靠，作者通过一个目标分布 $P$ 来对软分配概率 $A$ 进行锐化。模型的聚类损失是最小化这两个分布之间的KL散度（KL divergence）。
\[L_{stage3} = KL(P \| q^u)\]通过这种方式，scECDA实现了端到端的聚类，其最终输出就是每个细胞的亚型归属，无需再依赖外部的聚类算法。
3. 实验分析
作者在八个涵盖了10X Multiome, CITE-seq, TEA-seq等多种技术平台的真实配对单细胞多组学数据集上，对scECDA的性能进行了全面的基准测试，并与TriTan, Mowgli, MOJITOO, scMVP等八种SOTA方法进行了比较。
3.1 实验一：在不同质量和规模数据集上的聚类性能
综合八个数据集的表现，scECDA在聚类准确性（clustering accuracy）上取得了最高的平均分，在生物学方差保留（biological variance conservation）上排名第二，最终在综合性能（overall performance）上名列第一。
scECDA在各种规模的数据集上（从几百个细胞的小数据集到数万个细胞的大数据集）都表现出色，证明了其良好的可扩展性。
3.2 实验二：在单组学与多组学数据集上的性能
作者进一步测试了scECDA处理不同数量组学模态的能力。
在仅使用单组学数据（如scRNA-seq）进行聚类的任务中，scECDA的性能同样优于其他专门为单组学设计的或可用于单组学的SOTA方法。在一个包含三种组学（RNA, ATAC, ADT）的Tea_PBMC数据集上，scECDA在聚类准确性和生物学方差保留两方面都取得了最佳性能。
通过比较在Tea_PBMC数据集上使用两种组学和三种组学的性能，可以清晰地看到，整合三种组学时，scECDA的性能显著高于只整合两种组学时。这证明了scECDA能够有效地从更多的组学模态中获益。
3.3 实验三：对批次效应的鲁棒性
作者在一个包含12个小批次的BMMC数据集上，评估了scECDA处理批次效应（batch effects）的能力。
UMAP可视化清晰地显示，原始数据存在严重的批次效应，而经过scECDA整合后，不同批次的细胞被很好地混合在一起，批次效应被有效去除。定量评估显示，scECDA在带有批次效应的数据集上取得了最高的综合得分，并且其性能在不同批次组合下保持了高度的稳定性。
3.4 实验四：生物学洞察与可解释性
作者通过对scECDA识别出的簇进行差异分析，成功地在CITE_PBMC_Inhouse数据集中识别出了如CD8A, CD8B, CD4等关键的、具有细胞亚型特异性的生物标志物（biomarkers）。基因富集分析也揭示了与免疫相关的核心通路。
在一个过滤后的小鼠皮肤细胞数据集上，利用scECDA整合后的特征，PAGA算法成功地推断出了一条与已知生物学过程（αhighCD34+ bulge -> ORS -> K6+ bulge companion layer）相符的细胞分化轨迹。
这些分析表明，scECDA不仅是一个高精度的聚类工具，其生成的潜在特征也富含生物学意义，能够有效地支持下游的生物学发现。
