语言模型助力基于cfDNA的端到端准确癌症检测.

paper：Language model enables end-to-end accurate detection of cancer from cell-free DNA

0. TL; DR

本文介绍了一种名为 ACID（Affordable Cancer Interception and Diagnostics）的新型语言模型，它能够直接从原始的血浆游离DNA（cfDNA）测序读段中实现高精度的端到端癌症诊断。

作者将癌症检测问题翻译成了一个自回归语言模型（autoregressive language model）任务。ACID 的训练数据是由原始测序读段和对应的诊断标签（“是癌症”或“是健康对照”）拼接而成的句子。通过这种方式，模型被训练来学习 cfDNA 序列本身所蕴含的、与疾病状态相关的深层模式。

作者在一个包含2094个样本的大型队列中进行了实验。ACID 具有极高的数据效率，每个样本仅需10,000条测序读段即可达到高精度，极大地降低了检测成本。在处理经过亚硫酸氢盐测序（bisulfite sequencing）的数据时，ACID 的性能同样超越了基准方法。

1. 背景介绍

血浆中的细胞游离DNA（cfDNA）作为一种革命性的“液体活检”标志物，为癌症的早期检测和监测带来了巨大希望。这些由死亡细胞释放到血液中的DNA碎片，携带着丰富的基因组和表观遗传学信息。特别是其中的片段组学（fragmentomics）特征，如片段大小、核小体定位和末端基序（end-motifs），已被证明在癌症患者和健康个体中存在显著差异。

目前，基于 cfDNA 的癌症检测方法主要依赖于复杂的生物信息学流程。例如：

DELFI 模型：通过整合全基因组范围内的片段大小、拷贝数变异等特征来检测癌症。
甲基化分析：通过靶向或全基因组亚硫酸氢盐测序（WGBS）来识别肿瘤特异性的甲基化模式。
末端基序分析：通过计算特定序列（如4-mer）在 cfDNA 片段末端的频率，或使用非负矩阵分解（NMF）等方法对其进行解构，来区分癌症与健康状态。

这些方法虽然取得了显著的成功，但普遍存在分析流程繁琐的问题。它们通常需要经历序列比对、拷贝数计算、片段组学特征提取、甲基化水平量化等多个耗时且计算密集型的步骤。这不仅增加了技术门槛，也限制了检测的效率和可及性。

与此同时，以 GPT-3、LLaMA 等为代表的大语言模型（Large Language Models, LLMs）正在彻底改变自然语言处理领域。这些基于 Transformer 架构的模型，通过在海量文本数据上进行生成式预训练，学会了理解和生成具有复杂语法和语义的文本。其成功的核心在于，将各种任务都统一到了一个“根据上下文预测下一个词”的简单框架下。

受到 LLM 成功的启发，研究者们开始思考：是否可以将复杂的生物学问题也“翻译”成一种语言模型能够理解的任务？本研究提出能否绕过所有复杂的中间步骤，直接让语言模型从最原始的 cfDNA 测序读段中学习，实现端到端的癌症诊断？

ACID 旨在开发一种全新的、基于语言模型的范式，将癌症检测问题转化为一个简单的序列生成任务，从而极大地简化分析流程，降低检测成本，并最终提升诊断性能。

2. ACID 模型

ACID 的核心是将癌症诊断问题重新定义为一个自回归语言模型任务。其方法论的核心在于如何构建“训练语言”以及模型的架构和训练方式。

2.1 构建“DNA语言”训练数据

为了让语言模型理解 cfDNA 数据，作者设计了一种独特的句子构建方法，将测序数据和临床信息拼接成一个完整的训练样本。

一个训练数据点 $X_{i,train}$ 由三部分组成：

指令提示 (Instruction Prompt, $I_i$)：一个简短的自然语言句子，用于告知模型任务。在本研究中，指令为“Annotate the following sequence”。
输入内容 (Input Content, $X_{i,n}$)：作者从一个 cfDNA 样本中随机抽取 $n$ 条原始测序读段，将它们按字母顺序排序，然后直接拼接成一个长字符串。这里$n$ 是一个可调参数，代表了模型阅读的信息量。
期望输出 (Expected Output, $Y_i$)：一个描述该样本临床表型的简短句子，例如“it is cancer”或“it is normal control”。

最终，一个完整的训练“句子”就是这三部分的顺序拼接：$X_{i,train} = {I_i, X_{i,n}, Y_i}$。通过这种方式，作者将一个生物样本转化为了一个语言模型可以处理的文本序列。

2.2 ACID模型架构

ACID 基于标准的 Transformer 解码器架构，这与 GPT 系列模型类似。其核心组件包括：

首先，输入的文本序列被分词（tokenize），转换成一串数字 ID。然后，嵌入层将每个 token ID 映射到一个高维的实值向量$h_0 = UW_e + W_p$。这一层同时包含词嵌入和位置编码，以捕捉 token 本身的语义和其在序列中的位置信息。

嵌入向量会依次通过多个堆叠的 Transformer 解码器模块。每个模块的核心是掩码多头自注意力机制。“掩码”确保了模型在预测第 $i$ 个 token 时，只能看到它前面的 $i-1$ 个 token，这正是自回归的本质。自注意力机制通过计算查询（Query）、键（Key）和值（Value）之间的点积，来动态地为序列中的每个 token 分配权重，从而捕捉长程依赖关系。

\[SelfAttn_i(Q_i, K_i, V_i) = softmax(\frac{Q_i K_i^T}{\sqrt{d_k}})V_i\]

每个解码器模块还包含一个位置前馈网络，用于进行非线性变换。残差连接（Residual connections）和层归一化（Layer normalization）被用于稳定训练过程。

\[FFN(x) = max(0, xW_1 + b_1)W_2 + b_2\]

最顶层解码器的输出会经过一个线性层和 softmax 函数，最终预测出词汇表中每个 token 在当前位置出现的概率。

2.3 模型的训练与推理

ACID 的训练过程是标准的自回归语言模型训练。给定一个训练句子 $X_{i,train}$，模型的目标是最大化其出现的对数似然（log-likelihood）：

\[L(G) = \sum_i \log P(w_i | w_{i-k}, \dots, w_{i-1}; \theta)\]

简单来说，就是在每个时间步，模型都试图根据已经“读到”的前文，来预测下一个最有可能出现的 token。通过在大量拼接好的“DNA语言句子”上进行训练，ACID 被迫学习从原始 DNA 序列直接推断出诊断标签的内在规律。

作者训练了两种规模的模型：ACID–base 和 ACID-large。

在预测阶段，只将“指令提示”和“输入内容”拼接成 $X_{i,test} = {I_i, X_{i,n}}$ 作为模型的输入。然后，模型会以自回归的方式，一个 token 一个 token 地生成后续的文本。

作者通过判断模型生成的第一个关键 token 是“cancer”还是“normal”来做出最终的诊断。对于一个样本，这个过程会重复多次（通过对原始读段进行多次随机抽样），最终以预测为“cancer”的比例作为该样本的癌症风险评分。

3. 实验分析

作者在一个包含2094个样本、覆盖多种癌症类型和测序技术的大型队列中，对 ACID 的性能进行了系统性的评估。

3.1 在WGS数据上的高精度癌症检测

作者首先在一个包含HCC、CRC、肺癌等多种癌症的 WGS 数据集上测试了 ACID。

图A (泛癌诊断)：ACID-large 模型取得了最佳性能，其 AUROC 达到了 0.924，显著优于所有基准方法，包括表现最好的 MDS（AUROC=0.853）。Delong 检验显示这一差异具有高度统计学意义 ($P < 0.001$)。
图B (HCC检测)：在更具挑战性的 HCC 单癌种检测任务中，ACID-large 的优势更加明显，其 AUROC 高达 0.981，而表现最好的基准方法 NMF 的 AUROC 仅为 $0.917$。

在准确率、灵敏度、特异性等其他分类指标上，ACID 模型也全面领先。例如，在泛癌诊断中，ACID-large 的准确率达到88.9%，F1分数为0.907。在HCC检测中，准确率更是高达98.4%。

在另一个独立的 Cristiano 数据集上，ACID 同样展现了优越的性能，AUROC 达到0.945，显著高于 DELFI 的0.890。并且，其性能随着肿瘤分期的升高而提升，在IV期肿瘤中 AUROC 接近1.0。

3.2 ACID的超高数据效率

ACID 的一个巨大优势是其对数据量的高度不敏感。作者通过改变每个样本输入的读段数量，系统地评估了 ACID 的性能。

模型的性能随着读段数量的增加而快速提升，并在大约 20,000 条读段时就达到了平台期。令人惊讶的是，即使每个样本仅使用10,000条读段，ACID 仍然能够达到非常高的准确度（例如，在 HCC 检测中 AUROC > 0.97）。这意味着 ACID 可以在极低的测序深度下工作，极大地降低了液体活检的成本，使其在临床推广和大规模筛查中具有巨大的潜力。

3.3 在亚硫酸氢盐测序数据上的强大泛化能力

为了验证 ACID 的通用性，作者进一步在三种不同类型的亚硫酸氢盐测序（bisulfite sequencing）数据集上进行了测试。

图A (WGBS)、图B (CRC-TGBS) 和 图C (HCC-TGBS)：在这三个数据集中，ACID 模型的 AUROC 均一致且显著地高于基准方法 NMF 和 MDS。特别是在两个靶向测序（TGBS）数据集上，ACID 的 AUROC 值分别达到了惊人的 $0.996$ 和 $0.999$，几乎实现了完美分类。这甚至优于原始研究中基于比对的专门算法。

这些结果有力地证明，ACID 作为一种端到端的语言模型，其学习到的 cfDNA 序列模式是普适的，能够很好地泛化到不同测序技术和数据模态。

3.4 模型可解释性探索

为了探究 ACID 到底学到了什么，作者进行了一项初步的可解释性分析。

作者首先使用传统的 NMF 方法，从 TGBS-HCC 数据集的全部读段中解构出了四种参考 cfDNA 序列签名（signatures），发现其中一个签名（Signature 1）与癌症状态高度相关。

然后，作者利用基于注意力的多示例学习（attention-based MIL）方法，从 ACID 模型中识别出那些对最终诊断决策贡献最大的高分读段。对这些高分读段再次进行 NMF 分析，得到了三种ACID-基签名。

一个关键的发现是，其中一个 ACID-基签名（Signature 3）与之前发现的与癌症相关的参考签名（Signature 1）高度相关。这个结果表明，ACID 模型在没有被明确告知的情况下，通过端到端的学习，自主地发现并利用了那些对癌症诊断最有信息价值的 cfDNA 序列模式。这为模型的黑箱决策提供了一定的生物学可解释性。