直接用亚硫酸氢盐处理的cfDNA原始测序片段进行癌症诊断的基于Transformer的表示学习和多实例学习.

0. TL; DR

本文介绍了一种名为 DECIDIA（DEep-learning-based approach for early Cancer Interception and DIAgnosis）的度学习方法，它能够直接处理经过亚硫酸氢盐处理的原始血浆游离DNA（cfDNA）测序片段，通过结合基于Transformer的DNA片段特征表示学习和弱监督多实例学习（weakly supervised multiple-instance learning）进行分类，实现端到端的精准癌症诊断。

作者在一个包含5389个样本（涵盖结直肠癌CRC、肝细胞癌HCC、肺癌和健康对照）的大型数据集上对 DECIDIA 进行了系统性评估。作者还从原始读段中蒸馏出了四种具有癌症特异性和癌种特异性的序列签名（signatures）。

1. 背景介绍

通过分析血浆中的游离DNA（cfDNA），液体活检已成为癌症早期诊断领域最具前景的技术之一。cfDNA 的片段组学（fragmentomics）特征，如片段大小、末端基序和核小体定位模式等，已被证明能够有效区分癌症患者与健康个体。然而，在所有 cfDNA 特征中，DNA甲基化（DNA methylation）因其在肿瘤发生早期即出现改变，且具有高度的组织和癌症特异性，而被认为是尤为强大的生物标志物。

亚硫酸氢盐测序（Bisulfite sequencing）是实现单碱基分辨率甲基化检测的金标准。CCGA 等大型研究项目已证明，通过对 cfDNA 进行亚硫酸氢盐测序，可以高精度地检测多种癌症并定位其组织来源。

然而，这条技术路线并非没有挑战。现有的分析方法普遍依赖于一套复杂且繁琐的数据处理流程，这构成了其临床应用的障碍：

  1. 序列比对的复杂性：亚硫酸氢盐处理会改变DNA序列（未甲基化的C变为T），使得序列比对变得异常复杂和耗时，并且容易引入偏差。
  2. 信息的丢失：比对过程会丢弃那些无法成功映射到参考基因组的读段。这些被丢弃的读段可能包含了来自病毒、细菌等外源DNA的宝贵信息，而这些信息已被证明与癌症相关。
  3. 错误的累积：从原始数据到最终的甲基化丰度值，每一步处理都可能引入误差，这些误差会在流程中不断累积，最终影响诊断的准确性。
  4. 低信噪比的挑战：cfDNA 本身浓度低、片段化严重，加上巨大的背景噪声，使得精确量化肿瘤特异性甲基化信号变得极为困难。

为了解决这些问题，作者提出了一个全新的思路：能否跳过所有中间步骤，让模型直接从最原始的、经过亚硫酸氢盐处理的测序读段中学习，实现端到端的癌症诊断？

Transformer 架构的语言模型和弱监督学习（weakly-supervised learning）中的多实例学习（multiple-instance learning, MIL）为此提供了可能。Transformer 擅长从序列数据中捕捉长程依赖关系，而 MIL 则非常适合处理样本有标签，但样本内具体哪个实例是阳性未知的场景。这与液体活检中一份血样是癌症样本，但不知道具体哪条 cfDNA 片段来自肿瘤的情境完美契合。

基于此，作者开发了 DECIDIA。该模型旨在创建一个简单、高效且强大的新范式，彻底摆脱对繁琐生物信息学流程的依赖，直接从原始测序数据中解读癌症。

2. DECIDIA 架构

DECIDIA 的核心是一个两阶段的深度学习框架，它巧妙地结合了用于特征提取的Transformer模型和用于分类的MIL模型。

2.1 第一阶段：基于Transformer的DNA片段特征表示学习

这一阶段的目标是训练一个能够理解DNA语言的基础模型，并用它来为每一条cfDNA测序读段生成一个信息丰富的特征向量。

作者首先构建了一个包含7个 token 的词典：D = {<s>, <e>, <pad>, A, C, G, T}，其中 <s> 和 <e> 分别代表序列的开始和结束，<pad> 用于填充。每一条 DNA 测序读段被转换成一个 token 序列，然后映射为对应的整数索引向量。

模型架构采用了一个单层的 Transformer 解码器作为自回归语言模型。训练数据使用人类参考基因组（hg19）切分成的100bp短序列进行预训练。模型的任务是标准的下一个词预测，即根据已有的序列预测下一个最有可能出现的碱基。其优化的目标函数是最大化序列的对数似然：

\[L(S) = \sum_i \log P(b_i | b_1, b_2, \dots, b_{i-1}; \theta)\]

通过在整个人类基因组上进行训练，这个 Transformer 模型学会了 DNA 序列的内在语法和模式。训练完成后，该模型就被作为一个固定的特征提取器。

2.2 第二阶段：基于注意力机制的多实例学习分类器

这一阶段是 DECIDIA 的核心分类模块，它将一个样本的所有 cfDNA 读段作为一个包（bag），而每条读段则是包中的一个实例（instance），并以弱监督的方式进行学习。

对于一个给定的样本，其所有的 cfDNA 读段都会被输入到第一阶段训练好的 Transformer 特征提取器中，为每条读段生成一个高维的特征向量 $h_i$。

为了从成千上万个实例（读段）中找出那些对诊断最有价值的关键实例（即 ctDNA），作者引入了注意力机制。模型会为每个实例的特征向量 $h_i$ 计算一个注意力权重 $a_i$。这个权重反映了该实例对于最终样本分类的重要性。注意力权重的计算公式为：

\[a_i = \frac{\exp\{\mathbf{W}_{a,i} (\tanh(\mathbf{V}h_i) \odot \text{sigmoid}(\mathbf{U}h_i))\}}{\sum_{j=1}^{k} \exp\{\mathbf{W}_{a,j} (\tanh(\mathbf{V}h_j) \odot \text{sigmoid}(\mathbf{U}h_j))\}}\]

其中 $U, V, W_a$ 是可学习的参数。然后，通过注意力权重对所有实例的特征向量进行加权求和，得到一个代表整个样本（包）的聚合特征向量 $Z = H^T A$。

将聚合后的样本级特征向量 $Z$ 输入一个全连接层和 softmax 函数，最终输出该样本属于“癌症”或“正常”的概率。整个 MIL 分类器通过标准的交叉熵损失进行端到端的训练。

3. 实验分析

作者在一个包含5389个样本的大型队列中，对 DECIDIA 的性能进行了系统性的评估。该队列主要由三个靶向亚硫酸氢盐测序（TGBS）数据集和一个 WGBS 数据集组成，涵盖了 CRC、HCC 和肺癌。

3.1 DECIDIA在CRC数据集上的卓越性能

作者首先在 CRC 数据集上，通过10折蒙特卡洛交叉验证（10-fold Monte Carlo cross-validation）对 DECIDIA 进行了深入评估。

3.2 DECIDIA在独立HCC数据集上的强大泛化能力

为了测试模型的泛化能力，作者将在 CRC 数据集上训练好的 DECIDIA 模型，直接应用于一个完全独立的、包含2140个样本的 HCC 数据集上。

这一结果表明，不同癌症类型之间可能存在共享的、可被 DECIDIA 捕捉到的 cfDNA 序列模式。DECIDIA 学习到的不仅仅是针对 CRC 的特异性特征，更是一种更具普适性的“癌症信号”。

3.3 DECIDIA在多癌种分类任务中的表现

作者进一步评估了 DECIDIA 区分不同癌种的能力。

3.4 模型可解释性：DECIDIA学到了什么？

通过分析 Transformer 的自注意力分数和 MIL 模型的注意力权重，作者对 DECIDIA 的“黑箱”进行了初步探索。

作者从模型中蒸馏出了四种代表不同注意力头的序列签名（signatures），并以序列标识（sequence logos）的形式可视化。

这些结果直观地展示了 DECIDIA 确实学习到了与疾病状态和癌种类型相关的、有意义的底层 DNA 序列模式。