大型语言模型利用游离DNA末端基序谱对癌症进行高精度诊断.

paper：Large language model produces high accurate diagnosis of cancer from end-motif profiles of cell-free DNA

0. TL; DR

本文介绍了一种名为 iLLMAC（instruction-tuned LLM for assessment of cancer）的新型癌症诊断模型，其核心是利用指令微调（instruction-tuning）的大语言模型（LLM）来解读血浆游离DNA（cfDNA）的末端基序谱。

作者在一个包含1135名癌症患者和1106名健康对照的混合数据集中开发了 iLLMAC。实验结果表明，该模型具有出色的诊断性能。仅使用16个末端基序，iLLMAC 在泛癌诊断和肝细胞癌（HCC）检测中的 AUROC 分别达到了 $0.866$ 和 $0.924$。当基序数量增加到64个时，性能进一步提升，AUROC 分别达到 $0.886$ 和 $0.956$。

更重要的是，在一个独立的外部测试集上，iLLMAC（使用64个基序）的泛癌诊断 AUROC 高达 $0.912$，HCC 检测 AUROC 达到 $0.938$，显著优于现有的基准方法。此外，iLLMAC 在处理经过亚硫酸氢盐（bisulfite）和5-羟甲基胞嘧啶（5-hydroxymethylcytosine）测序的数据时，同样表现出强大的分类能力。

这项研究首次展示了将指令微调的 LLM 应用于 cfDNA 分析的巨大潜力，为开发更智能、更准确的液体活检技术开辟了新途径。

1. 背景介绍

大语言模型（LLMs）的出现，如GPT-3、LLaMA和PALM，彻底改变了自然语言理解领域。这些在海量数据上预训练的基础模型（foundation models）可以通过微调（fine-tuning）适应各种下游任务。然而，通用 LLMs 常常会误解用户指令或产生有偏见的内容。为了解决这一问题，指令微调（instruction-based tuning）技术应运而生。通过在人工策划的指令-响应示例上进行微调，LLMs 能够更好地理解和遵循人类意图，从而在分类、摘要、问答等任务中表现更出色。尽管指令微调技术已取得显著进展，但其在基于cfDNA的癌症诊断领域的应用仍是一片空白。

cfDNA 主要通过细胞凋亡、坏死和主动分泌等途径释放到体液中。研究表明，cfDNA 的片段化过程并非随机，其片段大小分布（中位数约167 bp）和末端序列（即末端基序，end-motifs）都蕴含着深刻的生物学信息，为癌症早期诊断提供了丰富的标志物。例如：

片段大小谱：与健康人相比，癌症患者的 cfDNA 片段大小分布更具可变性。
末端基序谱：HCC 患者的末端基序多样性评分（MDS）更高，且某些特定基序（如CCCA、CCAG）更为普遍。
片段化谱（Fragmentation profiles）：通过对末端基序矩阵进行因子分解，可以得到反映不同核酸酶活性的片段化谱，这在HCC的识别中显示出巨大潜力。
锯齿状末端（Jagged ends）：在尿液样本中，膀胱癌患者的锯齿状末端指数显著降低。

受到 LLM 在自然语言理解领域成功的启发，本研究旨在探索一种全新的 cfDNA 分析范式。作者提出了一个名为 iLLMAC 的模型，它创造性地将指令微调的 LLM 用于解读 cfDNA 的末端基序谱，以实现对癌症的高精度诊断。

2. iLLMAC 模型

iLLMAC 的开发流程分为三个核心阶段：数据准备、指令微调和模型评估。其精髓在于将复杂的生物信息学数据转化为 LLM 能够理解和处理的自然语言指令。

2.1 数据准备与句子构建

为了让 LLM 理解 cfDNA 的片段组学特征，作者设计了一套将数值数据翻译成文本句子的方法。

末端基序句 (End-motif sentence)：首先，统计每个样本中256种4-mer末端基序的出现频率，得到一个频率矩阵 $A_{256 \times n}$（$n$ 为样本数）。然后，对每个样本的基序频率进行降序排序。最后，将排序靠前的 $k$ 个基序（例如 $k=64$）按顺序拼接成一个字符串，形成末端基序句。
片段化谱句 (Fragmentation profile sentence)：作者使用非负矩阵分解对整个训练集的频率矩阵 $A$ 进行解构：$A \approx WH$。根据前人研究，矩阵 $W$ 可以被视为反映核酸酶活性的片段化签名，而矩阵 $H$ 则代表每个样本的片段化谱。通过分析协表型系数（cophenetic coefficient）和稀疏度评分，确定最佳的分解秩为4。对于每个样本 $i$，其片段化谱为矩阵 $H$ 的第 $i$ 列 $H_{:,i} = {Q_0, Q_1, Q_2, Q_3}$。将这四个值排序后，构建成如Fragmentation profile: Q1 Q2 Q3 Q4的句子。
末端基序多样性评分 (MDS)：这是一个描述末端基序频率分布复杂度的单一数值，计算公式为$s = \sum_{i=1}^{256} -m_i \times \log(m_i) / \log(256)$，其中 $m_i$ 是第 $i$ 个基序的频率。
诊断标签句 (Diagnostic label)：这是一个描述样本状态的简单句子，如it is cancer或it is normal control。

2.2 指令微调 (Instruction-tuning)

作者选择了开源的 LLaMA（70亿参数版本）作为基础模型。对于训练集中的每个样本，作者将前述的“末端基序句(e)”、“片段化谱句(f)”、MDS(s) 和“诊断标签句(l)”按照预设的模板拼接成一个完整的指令-响应对。

使用这些构建好的训练数据对 LLaMA 模型进行指令微调。模型学习的目标是在给定由 $e, f, s$ 构成的上下文 $c$ 的条件下，预测出正确的诊断标签 $l$ 的条件概率。

整个指令微调过程非常高效，在一个拥有8个A100 GPU的DGX AI服务器上，仅需训练一个epoch，耗时5小时。

2.3 模型评估

对于测试集中的样本，只拼接 $e, f, s$ 构成输入上下文 $c$。将 $c$ 输入到微调好的 iLLMAC 模型中，让模型生成预测的诊断标签 $l^*$。

通过比较预测标签 $l^*$ 和真实标签 $l$，计算模型的准确率、灵敏度、特异性和AUROC等指标。对于每个病人样本，作者采用了多组随机抽样的读段来生成多个预测，最终以预测为癌症的比例作为该病人的最终预测得分。

3. 实验分析

作者在一个内部测试集和一个外部测试集上，全面评估了 iLLMAC 的性能，并与MDS、NMF和DELFI等基准方法进行了比较。

3.1 内部测试集上的性能表现

内部测试集包含来自公开数据集的WGS数据，涵盖多种癌症类型。

图A (泛癌诊断)：iLLMAC 的性能随着输入基序数量的增加而提升。使用64个基序时，iLLMAC-64 的 AUROC 达到 0.886 (95% CI, 0.794–0.977)，显著优于所有基准方法（MDS为0.853，NMF为0.746）。
图2B (HCC检测)：在 HCC 的专项检测中，iLLMAC 的优势更加明显。iLLMAC-64 的 AUROC 高达 0.956 (95% CI, 0.890–1.0)，远超基准方法（NMF为0.917）。

在准确率、灵敏度和特异性等其他分类指标上，iLLMAC 也全面超越了基准方法，展示了其稳健和优越的分类能力。

3.2 外部测试集上的泛化能力验证

为了检验模型的泛化能力，作者在一个完全独立的、由天津肿瘤医院提供的外部测试集上对 iLLMAC 进行了评估。

图A (泛癌诊断)：iLLMAC-64 在外部测试集上取得了 0.912 (95% CI, 0.849–0.976) 的高 AUROC，而 NMF 和 MDS 的 AUROC 分别仅为 $0.751$ 和 $0.581$。Delong检验显示，这一优势具有高度统计学意义（$P < 0.001$）。
图B (HCC检测)：iLLMAC-64 的 HCC 检测 AUROC 更是达到了 0.938 (95% CI, 0.885–0.992)，再次大幅领先于基准方法。

在准确率、灵敏度和特异性等指标上，iLLMAC 同样表现出色。特别是在泛癌诊断中，其灵敏度达到了惊人的 1.0，同时保持了 0.865 的高准确率。

3.3 对不同测序类型的鲁棒性

cfDNA 的测序方法多种多样，一个好的诊断模型应具备处理不同类型数据的能力。作者在另外三个采用TGBS、WGBS和5hmC测序的数据集上测试了 iLLMAC。

图A (TGBS数据集)：iLLMAC 取得了近乎完美的分类性能，AUROC 达到 0.993。
图B (WGBS数据集)：iLLMAC 的 AUROC 为 0.870。
图C (5hmC测序数据集)：iLLMAC 的 AUROC 为 0.848。

这些结果有力地证明，iLLMAC 模型是数据不可知（data-agnostic）的，对不同来源和测序类型的 cfDNA 数据具有很强的鲁棒性。

3.4 消融实验

iLLMAC 的输入包含了三个部分：末端基序句、MDS 和片段化谱句。为了探究后两者（MDS 和片段化谱）的贡献，作者进行了一项消融实验，即从输入中移除这两部分信息。

图A, B (内部测试集)：在内部测试集上，移除 MDS 和片段化谱句后，iLLMAC 的性能仅受到轻微影响，AUROC 值基本保持不变。
图C, D (外部测试集)：在外部测试集上，性能略有下降。泛癌诊断的 AUROC 从 $0.912$ 降至 $0.864$，HCC 检测的 AUROC 从 $0.938$ 降至 $0.91$。

这表明，末端基序的排序信息是 iLLMAC 模型做出准确预测的最核心和最关键的特征，而 MDS 和 NMF 衍生的片段化谱提供了有益的补充信息，但并非不可或缺。