moSCminer：基于注意力神经网络整合单细胞多组学云上数据集的细胞亚型分类框架.

paper：moSCminer: a cell subtype classification framework based on the attention neural network integrating the single-cell multi-omics dataset on the cloud

0. TL; DR

moSCminer是为整合三种不同单细胞组学数据集（基因表达、DNA甲基化、DNA可及性）而设计的细胞亚型分类框架。moSCminer为每一种组学数据都引入了一个自注意力机制，学习每个特征在该组学模态内部的相对重要性，并据此对特征进行加权，从而生成信息更丰富的组学特异性表示。

在与标准机器学习分类器的比较评估中，moSCminer的性能始终如一地表现最佳，在真实数据集上取得了最高的平均性能。深入分析表明，模型能够识别出潜在的marker候选基因，用于细胞亚型的注释，从而增强了模型的可解释性。

1. 背景介绍

单细胞测序技术彻底改变了我们观察和理解细胞世界的方式。然而，长久以来，细胞亚型的鉴定主要依赖于单细胞RNA测序（scRNA-seq）数据。研究人员通常通过非监督聚类，然后依赖已知的marker基因进行人工注释。这种方法不仅耗时耗力，而且高度依赖专家的先验知识，可重复性较差。

近年来，监督学习方法开始崭露头角，它们能够自动地从带标签的参考数据中学习分类模型。然而，这些方法仍然存在一个根本性的局限：它们大多只利用单一组学（通常是scRNA-seq）的信息。

越来越多的证据表明，多组学分析能够提供更全面、更鲁棒的细胞状态刻画。例如，整合scRNA-seq和scATAC-seq数据，能够揭示基因表达背后的表观遗传调控机制。然而，如何有效地整合这些异构的多组学数据，仍然是一个巨大的挑战，特别是当涉及到三种或更多的组学模态时。

尽管已有一些基于注意力神经网络的方法（如MOMA, SADLN）在块状测序（bulk sequencing）数据的多组学整合中取得了成功，但将这种策略广泛应用于单细胞多组学数据的细胞亚型分类，仍然是一个亟待探索的领域。

为此，作者提出了moSCminer。它旨在成为第一个专门为整合三种单细胞组学数据（基因表达、DNA甲基化和DNA可及性）而设计的、基于组学级注意力神经网络的细胞亚型分类框架。

2. moSCminer 方法

moSCminer的核心是一个基于自注意力机制的神经网络，它通过为每个组学模态学习特征的重要性权重，来实现高效、智能的信息整合。

2.1 预处理与特征选择

为了在不同组学模态之间建立联系，moSCminer的第一步是将所有模态的数据都转换为一个基于基因的矩阵（gene-based matrix）。

基因表达 (Gene Expression): 对原始的scRNA-seq数据进行标准的库大小归一化和对数转换。
DNA甲基化 (DNA Methylation): 关注与基因转录调控最相关的区域。对于每个基因，将其启动子区域（promoter regions）（定义为转录起始位点上游2kb）内的所有CpG位点作为一个CpG簇（CpG cluster）。计算每个CpG簇的平均甲基化水平，作为该基因的甲基化特征。
DNA可及性 (DNA Accessibility): 对于每个基因，将其基因体（gene body）区域内所有的染色质可及性peak信号值求和，作为该基因的基因活性（gene activity）特征。

经过上述转换后，三种组学数据都拥有了基于基因的共同特征空间。作者只保留在所有三种组学中都存在的基因作为最终特征。最后，对所有数据进行min-max归一化，将数值范围统一到[0, 1]。

2.2 基于组学级自注意力的细胞亚型分类

moSCminer为每一种组学模态都应用了一个独立的自注意力网络，来学习其内部特征的重要性。

对于一个样本 $x_i$ 的第$j$个特征 $x_i^{(j)}$，作者首先将其乘以一个随机初始化的嵌入向量 $e_j$，得到一个$m$维的嵌入表示 $\hat{x}_i^{(j)}$。

\[\hat{x}_i^{(j)} = \{e_j, x_i^{(j)}\} = e_j x_i^{(j)}\]

将特征嵌入 $\hat{x}_i^{(j)}$ 输入到一个包含两层MLP的网络中，计算出每个特征的原始注意力分数 $s_i^{(j)}$。

\[s_i^{(j)} = W_3 \tanh(W_2 \hat{x}_i^{(j)} + b_2)\]

使用softmax函数对所有特征的注意力分数进行归一化，得到最终的注意力权重 $a_i^{(j)}$。

\[a_i^{(j)} = \frac{\exp(s_i^{(j)})}{\sum_{l=1}^k \exp(s_i^{(l)})}\]

将原始的特征嵌入（经过另一个MLP和tanh激活函数变换得到 $\beta x_i^{(j)}$）与对应的注意力权重相乘，并求和，得到该组学模态最终的、经过注意力加权的表示 $c_i^{(j)}$。

\[c_i^{(j)} = \sum_{j=1}^k a_i^{(j)} \beta x_i^{(j)}\]

将来自三种组学模态的、经过注意力加权后的特征表示 $c_{gene}$, $c_{methyl}$, $c_{acc}$ 拼接起来。将拼接后的融合特征输入到两个全连接层中，并最终通过一个softmax层，输出每个细胞属于不同亚型的概率。

2.3 模型优化

模型使用标准的交叉熵损失作为目标函数进行训练。

\[L = - \sum_{i=1}^C y_i \log(\hat{y}_i)\]

为了防止过拟合，作者在全连接层中加入了dropout。整个模型通过Adam优化器进行端到端的训练。

3. 实验分析

作者在三个来自不同测序技术（scChaRM-seq, scNOMeRe-seq, SHARE-seq）的公开单细胞多组学数据集上，对moSCminer的性能进行了全面的评估，并与四种标准的机器学习分类器（SVM, RF, LR, NB）进行了比较。

3.1 与基线方法的性能比较

作者通过五折交叉验证，在三个数据集上评估了moSCminer和基线方法的分类性能。

在所有三个数据集上，moSCminer的性能均一致性地、显著地优于所有基线方法。无论是在准确率（Accuracy）、加权F1分数（F1-score）、马修斯相关系数（MCC）还是AUC上，moSCminer都取得了最高的平均分。例如，在GSE140203这个包含超过3万个细胞、22种亚型的最复杂的数据集上，moSCminer的平均AUC达到了0.983，而次优的RF仅为0.926。

为了验证自注意力模块的贡献，作者实现了一个移除了该模块的moSCminer变体（moSCminer (no-attn)），并进行了性能比较。在所有三个数据集上，移除了注意力模块后，模型的性能都出现了显著的下降。特别是在最复杂的GSE140203数据集上，平均准确率从0.983骤降至0.856。

这个实验有力地证明了，组学级的自注意力机制对于学习特征的重要性、生成信息更丰富的表示，并最终提升分类性能，起到了至关重要的作用。

3.2 多组学整合的必要性

作者通过只使用单种或两种组学数据进行训练，来探究多组学整合是否真的能带来性能提升。

在所有三个数据集上，整合三种组学数据的性能，始终优于整合两种或只使用一种组学数据的性能。这直接证明了，moSCminer能够有效地从多个组学层面提取互补信息，并且整合的组学模态越多，分类性能越好。

有趣的是，在GSE136718数据集中，仅使用基因表达数据的性能（ACC=0.962）已经非常高，但整合三种组学后，性能依然能提升到0.986，这说明即使在有“主导”模态的情况下，多组学整合依然有其价值。

3.3 生物标志物候选的识别

moSCminer的注意力模块不仅提升了性能，还为模型提供了可解释性。作者通过分析每个特征获得的注意力分数，来识别对细胞亚型分类最重要的生物标志物（biomarker）候选。

作者展示了在GSE136718数据集中，从每个组学中选出的top 3高注意力特征。可以看到，这些特征在不同细胞亚型（特别是不同发育阶段的胚胎细胞）中，都表现出显著的丰度差异（p-value < 0.01）。这证明了模型确实学习到了与细胞状态高度相关的特征。

维恩图显示，在GSE136718数据集中，有4个基因（H2-Q1, Ccdc64, C130026I21Rik, 4933407C03Rik）同时出现在了三种组学模态的top 30高注意力特征列表中。通过文献查证，作者发现这些基因（如H2-Q1和Ccdc64）都与小鼠的胚胎发育和神经分化密切相关。

类似地，在GSE154762数据集中，作者识别出的高注意力基因（如CAMK1D, TMOD3等），也都被文献报道与人类卵母细胞的质量和成熟过程相关。

这些结果有力地证明，moSCminer的注意力机制不仅是一个有效的加权工具，更是一个强大的生物标志物发现引擎，能够帮助研究人员识别出与特定生物学问题高度相关的关键分子。