0. TL; DR

本文介绍了一种基于 Transformer 的深度学习模型，旨在通过整合血浆游离DNA（cfDNA）所携带的三种不同信息模态——DNA甲基化模式（表观遗传）、基因序列（遗传）和片段长度（片段组学），来提升癌症检测的准确性。

作者在公开的肝细胞癌（Hepatocellular Carcinoma, HCC）数据集上对模型进行了训练。在多个独立的测试集中，该模型表现出强大的泛化能力和诊断性能。此外模型学习到的 cfDNA 向量嵌入被证明是具有生物学信息性的，它揭示了片段长度、甲基化水平与癌症风险评分之间的复杂关系。

1. 背景介绍

细胞游离DNA（cell-free DNA, cfDNA）主要源于体内细胞（尤其是凋亡细胞）释放的DNA片段，它们进入并循环于外周血中。这些微小的DNA分子携带着来源细胞的丰富分子信息，并且可以通过常规的抽血被无创地提取出来。在癌症发生发展的过程中，肿瘤细胞异常的增殖和死亡周期会导致肿瘤特异性的ctDNA（circulating tumour DNA）在血液中的浓度发生波动。

尽管这些变化通常非常微弱，但如果能被可靠地检测到，将为癌症的早期、无创诊断提供一条极具前景的途径。由于所有体细胞的基因组序列是相同的，而DNA甲基化模式具有组织特异性，因此，通过甲基化测序技术可以有效地追踪这些组织特异性的 cfDNA 释放变化。近年来，新的测序技术已能同时、高保真地捕获单个 cfDNA 分子的甲基化、序列和片段长度信息，为我们提供了前所未有的高维数据集。

然而，目前临床上分析 cfDNA 的方法存在三个关键的过时之处：

信息聚合导致的粒度损失：现有方法大多为早期的低深度测序数据设计，倾向于将每个基因组位点上所有 cfDNA 片段的信息进行聚合统计，从而忽略了每个独立分子所携带的独特信息。
依赖手动特征提取：分类模型通常依赖于在已知的癌症风险位点上手动提取特征，这不仅限制了研究的视野，使其局限于现有的基因组学假说，而且难以大规模扩展。自动化的特征提取方法更适合探索 cfDNA 这一相对未知的生物分子。
信息模态的割裂：目前尚无有效方法能将 cfDNA 的序列、甲基化和片段长度这三个截然不同的信息模态整合起来。临床生物标志物测试通常只关注其中之一，这不仅浪费了其他模态可能提供的信息，也阻碍了发掘基因序列、甲基化状态和片段长度之间是否存在相互作用。

因此，为了充分挖掘 cfDNA 的诊断潜力，并深入理解其生物学机制，作者提出了一个基于 Transformer 的多模态深度学习模型，旨在同时整合单个 cfDNA 分子的所有信息，实现对癌症患者的精准区分。

2. 多模态Transformer模型

作者提出的模型其核心思想是将每个 cfDNA 分子视为一个独立的分析单元，并将其多模态信息编码后，输入到一个 Transformer 深度学习模型中进行端到端的分类。

2.1 cfDNA分子的向量化编码

外周血中cfDNA分子比对到一个目标基因。这些片段包含三种不同的信息模态：DNA序列、CpG位点上的甲基化模式以及可变的片段长度。

为了让深度学习模型能够处理 cfDNA 的信息，首先需要将每个分子转化成一个数字向量。将 cfDNA 的DNA序列进行编码。四个基本碱基（A, T, C, G）分别用数字1-4表示。为了区分甲基化状态，作者将甲基化的胞嘧啶（methylated cytosine）编码为5，而未甲基化的胞嘧啶则仍用其对应的数字（如3）表示。通过这种方式，一个 cfDNA 分子就被转换成了一个可变长度的数字向量，同时保留了序列和甲基化信息。

2.2 Transformer模型架构与训练

采用标准的 Transformer 架构。该架构以其强大的自注意力机制著称，能够捕捉输入序列中任意两个位置之间的依赖关系，非常适合处理 cfDNA 分子内部不同碱基和甲基化位点之间的复杂关联。在 Transformer 编码器的顶层，接一个二元分类的全连接层，其任务是预测输入的 cfDNA 片段来源于健康细胞还是癌症细胞。

作者使用了公开可得的数据集进行模型训练，该数据集包含来自健康对照的 cfDNA 样本和来自肝细胞癌（Hepatocellular Carcinoma, HCC）肿瘤组织的 DNA 样本。这种设计让模型能够直接学习区分纯粹的健康信号和纯粹的肿瘤信号。

模型在数十亿个 cfDNA 片段（reads）上进行训练，目标是最小化其在片段来源预测任务上的分类误差。

2.3 样本级风险评分与分类

训练好的模型能够为来自患者血浆的每一个 cfDNA 片段打分，即该片段来源于癌症的概率。

对于一个样本（无论是癌症患者还是健康对照），其所有 cfDNA 片段的得分会形成一个概率分布。通过对单个样本内所有片段的得分进行聚合（例如，计算平均分、中位数或高分段片段的比例），可以得到一个代表该患者整体癌症风险的样本级风险评分（patient-level risk score）。使用这个风险评分，即可对患者进行分类。

3. 实验分析

作者在一个内部测试集和两个独立的外部数据集上对训练好的模型进行了性能评估。

3.1 模型在不同患者队列中的分类性能

内部测试集 (同源队列)：在一个与训练数据同源但未见过的留出测试集（held-out test set）上（n=24），模型实现了100%的正确分类，初步验证了模型的有效性。
外部测试集1 (公开数据集)：在一个完全独立的、来自其他研究的公开数据集（n=8）上，模型同样实现了100%的正确分类。这强有力地证明了模型具有良好的泛化能力，能够适应来自不同患者群体的 cfDNA 数据。
外部测试集2 (内部生成数据集)：在一个包含早期肝癌患者的内部生成数据集（n=53）上，模型整体的 AUC达到了 0.81。值得注意的是，该队列中的一些早期患者被错误地分类为健康，作者推测这可能是因为早期癌症释放到血液中的 ctDNA 数量过少，信号极其微弱。尽管如此，模型依然能够成功检出晚期患者。

下图表示测试集中健康对照（绿色）与肝癌患者（红色）的cfDNA片段得分分布。每条线代表单个样本中所有片段得分的概率密度分布。

如图所示，无论是健康对照还是癌症患者，其大部分 cfDNA 片段的癌症风险评分都集中在较低的区域。这符合生物学事实：cfDNA 池主要由健康细胞（特别是淋巴细胞）贡献。

在癌症患者的样本（红线）中，概率分布的尾部出现了一个小的凸起，大约在 $P=0.9$ 的位置，而在健康对照（绿线）中则没有。这个小凸起正是模型识别出的、被认为是真正来源于肿瘤的 ctDNA 信号。

3.2 多模态特征的生物学信息解读

通过对单个 cfDNA 片段进行评分，作者得以探索不同组学模态之间的相互关系，并揭示它们如何影响模型的预测。

下图显示了单个肝癌患者cfDNA片段的风险评分分布，按片段长度和甲基化状态分层。

总体趋势显示，较短的 cfDNA 片段被赋予的平均癌症风险评分更低。这似乎与ctDNA 更短的传统认知有所出入，但也可能反映了更复杂的生物学机制或模型学习到的特定模式。

一个非常清晰的趋势是，随着 cfDNA 片段的甲基化率（methylation rate，图中颜色由深变浅表示甲基化水平由低变高）降低，其被预测为来源于癌症的概率显著增加。这与肿瘤基因组通常表现为全局低甲基化和局部高甲基化的特征相符。

这张图直观地展示了模型是如何整合多模态信息来做出决策的。它不仅仅依赖于单一特征，而是学习到了长度、甲基化和序列（隐含在Transformer的注意力中）之间的复杂非线性关系，从而对每个分子进行精准画像。