CLCLSA：跨组学链接嵌入结合对比学习和自注意力机制用于整合不完整的多组学数据.

0. TL; DR

CLCLSA (Cross-omics Linked unified embedding with Contrastive Learning and Self Attention) 专门用于处理包含不完整数据的多组学整合问题。CLCLSA的核心是一个跨组学自编码器模块，为了动态地识别最具信息量的特征，CLCLSA采用了双重自注意力：

作者在四个公开的多组学数据集上进行了广泛的实验。结果表明，无论是在处理完整还是不完整的多组学数据时，CLCLSA在分类任务上的性能都优于现有的SOTA方法。

1. 背景介绍

随着高通量测序技术的发展，进入了一个可以从基因组、转录组、蛋白质组、表观组等多个层面同时审视生命过程的多组学时代。整合这些异构的数据，无疑能为我们理解疾病和复杂表型提供一个更全面、更深刻的视角。

然而，一个严峻的现实是，获得的多组学数据往往是不完整的。由于实验成本高昂、样本量有限或仪器灵敏度等问题，一个生物样本的某些组学数据很可能缺失。这种数据缺失给整合分析带来了巨大的挑战：

此外，现有的许多整合方法，如简单的特征拼接或基于图卷积网络的方法，大多是为完整数据设计的，无法直接应用于不完整的场景。

因此迫切需要一种能够直接处理和有效利用不完整多组学数据的整合方法。CLCLSA正是为应对这一核心挑战而设计的。它通过一个集跨组学表示学习、对比学习和自注意力于一体的深度学习框架，旨在从根本上解决不完整多组学数据的整合与分类问题。

2. CLCLSA 方法

CLCLSA通过三个关键模块的协同工作，来实现对不完整多组学数据的有效整合与分析：自注意力动态整合、缺失组学补全和对比学习。

2.1 自注意力动态整合

CLCLSA采用了双重自注意力机制，来动态地评估和加权不同特征和不同组学模态的重要性。

特征级自注意力 (Feature-level self-attention)

对于同一个组学模态，不同的特征（如不同的基因）对最终任务的贡献是不同的。对于第$i$种组学，作者使用一个MLP网络 $f_i$ 来为每个特征计算一个注意力分数 $fatt_i^{(j)}$。

\[fatt_i^{(j)} = \sigma(f_i(x_i^{(j)}))\]

然后将原始特征与注意力分数进行元素级相乘，再通过一个组学特异性的编码器 $emb_i$，得到加权后的特征嵌入 $\bar{x}_i^{(j)}$。

\[\bar{x}_i^{(j)} = emb_i(x_i^{(j)} \odot fatt_i^{(j)})\]

组学级自注意力 (Omics-level self-attention)

对于同一个样本，不同的组学模态对最终任务的贡献也是动态变化的。作者使用另一个MLP网络 $g_i$，基于加权后的特征嵌入 $\bar{x}_i^{(j)}$，来为每个组学模态计算一个整体的重要性分数 $matt_i^{(j)}$。

\[matt_i^{(j)} = \sigma(g_i(\bar{x}_i^{(j)}))\]

最终，将特征嵌入与组学重要性分数相乘，得到最终的、经过双重加权的组学特异性表示 $\hat{z}_i^{(j)}$。

\[\hat{z}_i^{(j)} = \bar{x}_i^{(j)} \odot matt_i^{(j)}\]

多视角融合 (Multi-view fusion)

将所有组学模态的最终表示 $\hat{z}_i^{(j)}$ 拼接起来，形成该样本的最终多组学联合表示 $z^{(j)}$。

\[z^{(j)} = [\hat{z}_1^{(j)}, \dots, \hat{z}_M^{(j)}]\]

2.2 缺失组学补全 (Missing omics completion)

CLCLSA没有在原始的高维空间进行插补，而是在低维的潜在特征空间中，通过跨组学自编码器来补全缺失的组学表示。

作者假设，一个缺失的组学模态的潜在表示，可以由一个或多个已知的组学模态的潜在表示来预测或生成。对于任意两种组学模态$i$和$k$，作者构建一个自编码器 $h_{i,k}$。这个自编码器包含一个编码器 $enc_k(\cdot)$ 和一个解码器 $dec_i(\cdot)$。它的任务是接收模态$k$的潜在表示 $\hat{z}_k^{(j)}$，并尝试重构出模态$i$的潜在表示 $\hat{z}_i^{(j)}$。

\[h_{i,k}(\hat{z}_k^{(j)}) = dec_i(enc_k(\hat{z}_k^{(j)}))\]

作者只使用数据完整的样本来训练这些跨组学自编码器。训练的目标是最小化预测的潜在表示 $h_{i,k}(\hat{z}_k^{(j)})$ 与真实的潜在表示 $\hat{z}_i^{(j)}$ 之间的均方误差。

\[L_{cross} = \sum_{j} \sum_{i \ne k} \| h_{i,k}(\hat{z}_k^{(j)}) - \hat{z}_i^{(j)} \|^2\]

一旦所有的跨组学自编码器训练完成，对于一个有缺失数据的样本，作者就可以利用其已知的组学模态，来预测出其缺失的组学模态的潜在表示。然后，将已知的表示和预测的表示拼接起来，形成一个完整的联合表示，用于下游任务。

2.3 对比学习 (Contrastive Learning)

为了进一步增强不同组学模态潜在表示之间的一致性，CLCLSA引入了对比学习。最大化来自同一个样本的不同组学模态之间的互信息。

作者采用了一个跨视角对比损失函数 $L_{CL}(Z_i, Z_k)$。它通过计算一个联合概率分布矩阵 $P$，并最小化其与边缘分布乘积之间的差异来实现。

\[L_{CL}(Z_i, Z_k) = - \sum_{d=1}^{D_i} \sum_{d'=1}^{D_k} P_{dd'} \ln \frac{P_{dd'}}{P_d \cdot P_{d'}}\]

这个损失项鼓励来自同一个样本的不同组学模态的潜在表示，在语义上更加接近和一致。

3. 实验分析

作者在四个广泛使用的癌症多组学数据集（ROSMAP, LGG, BRCA, KIPAN）上，对CLCLSA的性能进行了全面的评估。

3.1 实验一：在完整多组学数据上的性能

作者首先在所有组学数据都完整的场景下，将CLCLSA与13种现有的分类和整合算法进行了比较。

这些结果表明，即使在完整数据场景下，CLCLSA通过其对比学习和自注意力机制，也能够比现有方法学习到更具区分度的特征表示。

3.2 实验二：在不完整多组学数据上的性能

作者通过手动引入不同比例的缺失数据（从10%到80%），系统性地评估了CLCLSA与7种能够处理不完整数据的多视角学习方法的性能。

在所有四个数据集、几乎所有的缺失率下，CLCLSA的分类性能都全面优于所有其他方法，包括基于CCA的方法（MCCA, KCCA等）和基于VAE的方法（MVAE）。

随着缺失率的增加，所有方法的性能都不可避免地下降。然而，CLCLSA的性能下降曲线最为平缓，展现了其极强的鲁棒性。例如，在KIPAN数据集上，即使在高达80%的数据缺失率下，其ACC依然能保持在88%以上。

相比于那些无法插补缺失信息的CCA类方法，CLCLSA的优势尤为明显。这证明了其在潜在空间中进行跨组学补全策略的有效性。

3.3 实验三：不同组学组合的影响

作者进一步通过只使用两种组学数据进行训练，来探究不同组学组合对分类性能的影响。

结果一致地显示，在所有四个数据集中，包含mRNA表达数据的组合（mRNA+meth 和 mRNA+miRNA）的性能，显著优于不包含mRNA的组合（miRNA+methy）。

这表明，在这几个特定的癌症分类任务中，mRNA表达数据承载了最关键、最具区分度的信息。同时，整合三种组学数据，在低缺失率下通常能取得最佳性能，这也验证了多组学整合的价值。

3.4 实验四：超参数与消融研究

作者通过系统的网格搜索，分析了三个关键损失项的权重（$\lambda_{aux}$, $\lambda_{cross}$, $\lambda_{CL}$）对模型性能的影响。结果表明，模型对超参数的选择具有一定的鲁棒性，并且通常在权重较小的情况下能取得较好且稳定的性能。

作者通过移除对比学习模块（ctst）或自注意力与辅助分类器模块（aux），来验证它们各自的贡献。结果显示，完整的CLCLSA模型（ctst+aux）的性能，显著优于任何一个残缺的版本。这证明了对比学习和自注意力这两个模块，对于提升不完整多组学数据分类性能，都起到了不可或缺的作用。