通过检测细胞游离DNA末端基序开发用于癌症诊断的深度学习模型.

0. TL; DR

EMIT（End-Motif Inspection via Transformer）旨在通过分析血浆游离DNA（cfDNA）末端基序的频率排序模式来区分癌症患者与健康个体。

作者使用涵盖多种测序类型（WGS, WGBS, 5hmC-seq 等）的4606个样本开发了 EMIT 模型。在六个公开数据集上的测试表明，EMIT 的线性投影分类性能显著优于基线方法。更重要的是，在一个独立的、采用全外显子测序（WES）的肺癌测试集上，EMIT 实现了高 AUROC 值。

研究结果表明，Transformer 模型能够从 cfDNA 末端基序中学习到区分癌症的有效特征，为开发更准确、更简便的癌症早期诊断液体活检技术提供了新的方向。

1. 背景介绍

基于血浆游离DNA（cell-free DNA, cfDNA）的液体活检（Liquid biopsies）已成为癌症诊断领域的研究热点。血浆中的 cfDNA 是一个混合体，主要来源于造血细胞，并混有因细胞凋亡或坏死而释放的肿瘤细胞DNA（ctDNA）。这些DNA片段以多种拓扑形式存在，但最常被研究的是线性双链DNA。

科学家们发现，cfDNA片段并非随机产生，其本身携带着丰富的生物学信息，为癌症诊断提供了多种标志物：

  1. 片段大小谱：与健康个体相比，癌症患者的 cfDNA 片段长度更具可变性，且众数尺寸更短。基于这一发现，Cristiano 等人开发了著名的 DELFI 模型，通过分析全基因组的片段化特征来检测多种癌症。
  2. DNA甲基化：cfDNA的甲基化模式能够反映其组织来源，因此被广泛用于癌症的检测和溯源。Liu 和 Klein 等人的研究表明，基于 cfDNA 甲基化谱的检测方法在多癌种早期筛查中具有很高的特异性和准确性。
  3. 其他多维特征：Jamshidi 等人的评估发现，在突变、等位基因不平衡、拷贝数变异、片段末端偏好和长度等多种特征中，全基因组甲基化分析的性能最佳。
  4. 末端基序（End-motifs）：cfDNA 的片段化模式并非随机，其末端序列（即末端基序）在癌症患者和健康对照中存在差异。例如，在肝细胞癌（HCC）患者中，CCCA、CCAG 等4-mer基序更为普遍，且 cfDNA 末端倾向于落在特定的基因组位置。此外，cfDNA 的锯齿状末端（jagged-end）模式也被证明可用于区分膀胱癌患者。

然而，当前的 cfDNA 分析方法面临两大挑战：

近年来，自监督学习（Self-supervised learning）和 Transformer 架构在人工智能领域取得了巨大成功。自监督学习能够从未经标记的海量数据中学习有效特征，而 Transformer 模型则通过其强大的注意力机制捕捉序列中的长程依赖关系，已在自然语言处理和蛋白质结构预测等领域证明了其卓越的性能。

受此启发，本研究旨在探索一种基于深度学习的端到端（end-to-end）方法，以应对上述挑战。作者提出了一种名为 EMIT 的新模型，它直接从 cfDNA 末端基序的排序信息中学习，旨在简化分析流程，同时提升癌症诊断的准确性和可靠性。

2. EMIT 模型

EMIT 是一种基于 Transformer 架构的深度学习模型，通过对 cfDNA 末端基序的分布进行建模，学习其深层特征表示。

2.1 输入序列的构建

EMIT 的输入并非原始的 DNA 序列，而是经过预处理的末端基序序列。

  1. 提取末端基序：作者从每个 cfDNA 测序读段（read）的5’端提取前 $k$ 个核苷酸作为末端基序。在本研究中，作者使用4-mer基序，即 $k=4$。理论上，存在 $4^4 = 256$ 种不同的4-mer基序。
  2. 计算频率并排序：对于每个样本，计算所有256种4-mer基序的出现频率。
  3. 生成输入序列：将这些基序按照频率从高到低进行排序，构成一个序列。例如：AGTT, AGGA, ACTG, CGCA, ...。
  4. 格式化输入：选取排序后的前 $t$ 个基序（本研究中 $t=128$），并在序列的开头和结尾分别加入特殊标记 [CLS] 和 [SEP]，形成最终的输入序列 $M = {[CLS], m_0, m_1, \dots, m_t, [SEP]}$。

2.2 EMIT 模型架构

EMIT 的核心是一个带有投影头的 Transformer Encoder 结构，主要包括嵌入层、编码器层和投影头。

嵌入层 (Embedding Layer)

将输入的每个末端基序 $m_i$ 转换为一个 $d$ 维的特征向量 $x_i$。为序列中的每个位置生成一个 $d$ 维的位置向量 $p_i$，以保留基序的排序信息。最终，该层的输出是词嵌入矩阵 $X$ 和位置嵌入矩阵 $P$ 的逐元素相加，即 $X+P$。

编码器层 (Encoder Layer)

编码器层由多头自注意力机制（Multi-headed Self-attention）和前馈神经网络（Position-wise FFN）组成。

自注意力机制目的是捕捉输入序列中任意两个基序之间的相互作用或共现关系。其计算公式为$SelfAttn(Q, K, V) = softmax(\frac{Q K^T}{\sqrt{d_k}})V$。其中 $Q$（查询）、$K$（键）、$V$（值）是从输入矩阵投影而来的三个矩阵。通过计算 $Q$ 和 $K$ 的点积，模型可以评估序列中每个基序对其他基序的注意力或重要性。

通过并行地运行多个自注意力头（head），模型可以从不同的表示子空间中共同学习信息，从而捕捉更丰富的特征。

\[MultiHead(Q, K, V) = Concat(SelfAttn_1, \dots, SelfAttn_h)\]

每个位置的输出都会经过一个独立的全连接前馈网络，进行非线性变换。

\[FFN(x) = max(0, xW_1 + b_1)W_2 + b_2\]

此外，编码器中还使用了层归一化（Layer-wise normalization）和残差连接（Residual connection）来稳定训练过程并改善信息流。

编码器的输出 $Z$ 会被送入一个双层神经网络（即投影头），该网络将学习到的特征表示映射回原始的基序词典空间，用于后续的自监督学习任务。

2.3 自监督学习的训练策略

EMIT 的训练过程不依赖于样本的癌症状态标签。作者采用了类似于 BERT 模型的掩码语言模型（Masked Language Modeling）策略：

  1. 随机掩码：在每个输入序列中，随机选择15%的基序进行破坏。其中，80%的时间用特殊标记 [MASK] 替换，10%的时间用一个随机基序替换，10%的时间保持不变。
  2. 训练目标：训练模型的目标是根据上下文，准确预测出被破坏的基序。通过这种方式，EMIT 被迫学习末端基序之间的内在语法和共现模式。
  3. 优化器：使用 Adam 优化器，批量大小为256，学习率在预热后按余弦调度衰减。

2.4 基于EMIT表示的线性探测 (Linear Probing)

训练好的 EMIT 模型可以作为一个强大的特征提取器。对于下游的癌症分类任务，作者采用了线性探测的策略：

  1. 提取特征：将一个样本的末端基序序列输入到预训练好的 EMIT 模型中，并提取其生成的深层特征表示。
  2. 训练线性分类器：在一个简单的线性分类器（如逻辑回归）上，使用这些提取出的特征和对应的癌症/健康标签进行训练。
  3. 评估性能：通过这种方式，可以评估 EMIT 学习到的特征表示中是否线性编码了区分癌症和健康对照的信息。

这种预训练+线性探测的范式能有效利用海量无标签数据，同时避免在小规模有标签数据上直接训练复杂模型时可能出现的过拟合问题。

3. 实验分析

作者收集了来自5个不同研究的共4606个样本，涵盖了肝癌（HCC）、结直肠癌（CRC）、非小细胞肺癌（NSCLC）和食管癌（ESCA），测序类型包括 WGS、WGBS、TGBS和5hmC测序。

3.1 模型训练与可扩展性分析

作者训练了三种不同参数规模的 EMIT 模型，分别为 EMIT-2Mb、EMIT-8Mb 和 EMIT-32Mb。通过比较训练过程中的指数化交叉熵（ECE）损失，作者评估了模型的可扩展性。

在训练的每个阶段，更大参数规模的模型始终表现出更低的 ECE 值。这表明 EMIT 模型具有良好的可扩展性，模型容量越大，学习末端基序分布的能力越强。

3.2 多数据集上的癌症分类性能

为了验证 EMIT 学习到的特征表示是否包含癌症信息，作者在六个不同的数据集上进行了线性探测实验，并与直接使用末端基序计数的线性模型（基线方法）进行比较。

在所有六个数据集中，EMIT 模型的性能均显著优于基线方法。此外，模型规模越大，分类性能通常越好（EMIT-32Mb > EMIT-8Mb > EMIT-2Mb）。

在 HCC-TGBS 数据集上，作者进一步按肿瘤分期评估了模型性能。结果显示，EMIT 模型在所有分期（I-IV）中均表现出极高的分类性能，AUROC 值均接近1.0，表明其在早期癌症检测中同样具有巨大潜力。

作者还分析了模型性能与肿瘤突变等位基因平均频率（MAF）的关系。结果显示，EMIT 的预测准确性在不同 MAF 分组中没有统计学上的显著差异，这表明 EMIT 的性能不完全依赖于肿瘤负荷的高低，在低肿瘤负荷样本中依然稳健。

3.3 独立测试集验证与可解释性分析

为了最终验证模型的泛化能力，作者在一个完全独立的、内部产生的肺癌数据集（inhouse NSCLC dataset，采用全外显子测序）上测试了预训练好的 EMIT 模型。

(图a) 线性分类器在该测试集上取得了优异的性能：AUROC 达到 0.962 (95% CI: 0.914–1.0)，准确率为 0.902，特异性为 1.0，灵敏度为 0.810。这一结果强有力地证明了 EMIT 学习到的特征表示具有很强的泛化能力，能够成功应用于来自不同测序平台和处理流程的数据。

为了探究 EMIT 模型学到了什么，作者分析了其内部的自注意力分数。该分数反映了模型在进行决策时对不同末端基序的关注程度。

在一个独立的肺癌测试集上，作者发现某些末端基序在癌症组和对照组中获得了显著不同的注意力分数。例如，在第8个注意力头中，GCGA 和 CTAG 等基序在癌症组中的分数显著更高，而 CAGG、GCCA 和 ATGG 等基序在癌症组中分数更低（图b）。在第12个注意力头中，也观察到类似模式，如 GCGA 和 TTAG 在癌症组中分数更高（图c）。这揭示了与肺癌相关的特定末端基序。

作者进一步将基序间的注意力关系可视化为网络图。结果显示，癌症组和对照组的注意力网络拓扑结构存在差异。例如，在第9个注意力头中，一个以 AGCG 为核心节点的网络模块在癌症组中出现，但在对照组中不明显（图d）。而在第19个注意力头中，一个以 CAGC 为核心节点的模块在对照组中很明显，但在癌症组中却消失了（图e）。这些结果表明，EMIT 不仅识别了单个重要基序，还学习到了它们之间在不同疾病状态下的复杂组合模式。