SADLN：整合多组学数据用于癌症亚型识别的自注意力深度学习网络.
0. TL; DR
SADLN (Self-attention based deep learning network) 是一个用于整合多组学数据以进行癌症亚型识别的自注意力深度学习网络。SADLN将编码器、自注意力、解码器和判别器整合到一个统一的框架中，以学习一个准确的潜在低维表示。
在网络学习到的整合表示上，SADLN使用高斯混合模型来识别癌症亚型。在TCGA的十个癌症数据集上的实验表明，与十种现有方法相比，SADLN在癌症亚型识别任务中展现了显著的优势。
1. 背景介绍
癌症的高度异质性（heterogeneity）意味着，即使是同一种癌症，其内部也存在着具有不同表型、对治疗反应各异的亚型（subtypes）。精准地识别这些亚型，对于指导临床治疗和改善患者预后至关重要。
随着高通量测序技术的发展，我们能够从mRNA表达、DNA甲基化、miRNA表达等多个分子层面来刻画肿瘤。整合这些数据，无疑能为我们提供一个比单一组学更全面、更深刻的视角。
然而，如何有效地整合这些异构的数据，仍然是一个巨大的挑战。现有的方法大致可以分为三类：
- 早期整合 (Early Integration): 最简单的方法，即在输入端就将不同组学的特征向量拼接起来。这种方法完全忽略了不同组学的数据分布和信息贡献的差异。
- 晚期整合 (Late Integration): 为每个组学单独进行聚类，然后将各自的聚类结果进行融合。这种方法虽然考虑了组学特异性，但却丢失了组学间的互补信息。
- 中间整合 (Intermediate Integration): 这是目前的主流方向，即在模型的中间层（如潜在空间）进行信息融合。基于深度学习，特别是自编码器（autoencoder, AE）的方法，在这一领域展现了巨大的潜力。
然而，即使是先进的深度学习方法，也大多存在一个共同的盲点：它们在学习特征表示时，往往只关注每个样本自身，而忽略了样本与样本之间的内在关联。在生物学数据中，具有相似分子模式的样本（如病人）很可能属于同一个亚型。这种样本间的关系本身就是一种宝贵的信息。
为了将这种样本关系融入到模型的学习中，作者从自然语言处理领域获得了灵感。自注意力机制，正是为建模序列内（如一句话中单词与单词之间）的依赖关系而设计的。
基于这一思想，作者开发了SADLN。它旨在将自注意力机制引入到多组学整合中，通过一个统一的深度学习框架，实现对多组学表示和样本关系的联合学习。
2. SADLN 方法
SADLN的框架核心是一个对抗性自编码器（Adversarial Autoencoder），并创新性地在其中嵌入了一个自注意力模块，用于捕捉样本间的依赖关系。
2.1 自注意力编码器 (Self-attention based Encoder)
自注意力编码器负责将多组学数据转化为一个融合了样本关系的低维表示。
首先，对于输入的多种组学数据（如mRNA, DNA甲基化等），SADLN为每一种组学都设计了一个独立的、简单的全连接子网络。每个子网络负责将对应组学的高维原始数据，初步编码到一个较低维的特征空间中。
\[y^m = w_m x^m + b_m\]将所有组学模态经过初步编码后的特征矩阵 $y^1, \dots, y^4$ 拼接起来，形成一个统一的多组学特征表示矩阵 $Y$。
\[Y = \text{Concat}(y^1, \dots, y^4)\]作者将拼接后的特征矩阵 $Y’$（经过Batch Normalization和GELU激活）输入到一个自注意力模块中。将数据集中的每个样本看作序列中的一个元素。自注意力机制通过计算每个样本与其他所有样本之间的关注度，来动态地更新该样本的表示。
从输入的特征矩阵 $Y’$，通过三个独立的线性变换，生成Query (Q), Key (K), 和 Value (V) 矩阵。这里，Q, K, V都等于 $Y’$。样本i对样本j的关注度 $r_{i,j}$，由它们的Query和Key的点积来计算，并经过缩放。
\[r_{i,j} = \frac{q_i \times k_j^T}{\sqrt{d_k}}\]对权重进行softmax归一化，得到最终的注意力权重 $\omega_i$。样本i的最终表示 $z_i$，是所有样本的Value向量的加权和，权重即为注意力权重。
\[z_i = \text{Attention}(q_i, K, V) = \sum_{j=1}^N \omega_i v_j\]通过这个过程，每个样本的最终表示 $z_i$，都融合了数据集中所有其他样本的信息，其权重由它们之间的相似性动态决定。
自注意力模块的输出矩阵 $Z$，被视为最终的、整合了样本关系的低维表示。模型假设 $Z$ 服从高斯分布，并通过两个独立的全连接层，从 $Z$ 中分别学习出其均值 $\mu$ 和方差 $\sigma^2$。
2.2 解码器 (Decoder)
解码器的任务是从潜在表示 $Z$ 中，重构出原始的多组学数据。作者使用一个均方误差作为重构损失来最小化输入 $X_I$ 和输出 $X_O$ 之间的差异。
\[L_{Decoder} = \|X_I - X_O\|_2^2\]2.3 判别器 (Discriminator)
为了让潜在表示 $Z$ 的分布更接近于一个标准的先验高斯分布 $P(z)$，作者引入了一个判别器 $D$，构建了一个生成对抗网络。
判别器 $D$ 的任务是区分一个样本是来自真实的先验高斯分布 $P(z)$，还是来自编码器生成的分布 $G(z)$。在训练中，判别器 $D$ 努力提高其区分能力，而编码器（生成器 G）则努力生成让判别器无法区分的嵌入。这种对抗博弈通过一个对抗性损失 $L_{Discr}$ 来实现。
2.4 总体损失函数与GMM聚类
SADLN的总体损失函数是重构损失和对抗性损失的加权和：
\[L = \lambda_1 L_{Decoder} + \lambda_2 L_{Discr}\]模型训练完成后，作者在学习到的整合特征表示 $Z$ 上，使用高斯混合模型（Gaussian Mixture Model, GMM）进行聚类，从而识别出不同的癌症亚型。
3. 实验分析
作者在来自TCGA的十个癌症数据集（如BRCA, GBM, KIRC等）上，对SADLN的性能进行了全面的评估，并与十种现有的整合与聚类方法（包括AE, VAE, K-means, SNF, iCluster等）进行了比较。
3.1 实验一：与SOTA方法的性能比较
作者使用生存分析（survival analysis）（通过Cox对数秩检验的p-value评估）和临床特征富集分析（clinical enrichment analysis）来评估不同方法识别出的癌症亚型的临床意义。p-value越小，表示亚型间的差异越显著，聚类效果越好。
在十个癌症数据集中，SADLN在四个（PAAD, STAD, LUAD, UVM）上取得了最显著的生存差异（最低的p-value）。与最先进的Subtype-GAN相比，SADLN在七个数据集上的表现更优。
SADLN同样在四个数据集（KIRC, GBM, STAD, UCEC）上取得了最佳的富集结果。
综合所有数据集的表现，Friedman检验的统计排序显示，SADLN的平均排名最高，显著优于iCluster, LRAcluster和AE等方法。
这些结果一致地表明，SADLN识别出的癌症亚型，具有最强的临床相关性和生物学意义。
3.2 实验二：消融研究
作者通过移除自注意力模块、解码器或判别器，来验证这三个核心组件的有效性。
结果清晰地显示，完整的SADLN模型在大多数数据集上的性能，都优于任何一个“残缺”的版本。移除自注意力模块（NO SA）或判别器（$\lambda_2=0$）都会导致性能在多个数据集上出现下降。移除解码器（$\lambda_1=0$）导致的性能下降最为严重。
这个实验有力地证明了，自注意力、解码器和判别器这三个模块对于SADLN的最终性能都至关重要。
3.3 实验三：多组学整合的必要性
作者通过只使用贡献最大的单一组学数据训练模型（SADLN-single），来与使用全部组学数据的SADLN进行比较。
首先，作者通过随机森林分析了不同组学对SADLN最终分类结果的贡献度。结果显示，在不同癌症中，起主导作用的组学是不同的（例如，在BRCA中是mRNA，在GBM中是CNV）。
接着，作者比较了SADLN和SADLN-single的生存分析p-value。结果显示，在所有十个癌症数据集中，使用多组学的SADLN的性能，都显著优于只使用单一组学的SADLN-single。这无可辩驳地证明了，整合多种组学数据对于提升癌症亚型识别的准确性和临床意义是必要且有效的。
3.4 实验四：可视化与案例研究
Kaplan-Meier生存曲线和t-SNE降维图直观地展示了SADLN识别出的亚型具有显著的生存差异和清晰的簇结构。
作者以BRCA数据集为例，进行了深入的案例分析。SADLN识别出的亚型与已知的PAM50亚型高度吻合。不同亚型在TP53, PIK3CA等关键癌症基因的突变谱上表现出显著差异。通过差异表达分析，作者在区分不同亚型时发现了如ALDH3B2等重要的marker基因。更重要的是，通过分析对模型贡献最大的特征，作者为十种癌症都识别出了top 5的关键生物标志物（biomarkers），其中许多都已被文献报道与相应癌症的发生发展密切相关。
这些分析充分展示了SADLN不仅是一个性能强大的分类工具，更是一个能够揭示疾病内在分子机制、发现潜在生物标志物的强大平台。
