通过Pleiades进行人类全表观基因组建模以应用于临床研究.

paper：Human whole epigenome modelling for clinical applications with Pleiades

0. TL; DR

本文介绍了一个名为 Pleiades 的全基因组表观遗传基础模型系列。Pleiades 包含三种不同参数规模的版本（90M, 600M, 7B），在一个包含1.9万亿（1.9T）token的高质量的人类甲基化和未甲基化DNA序列数据集上进行了预训练。

与以往仅关注DNA序列的模型不同，Pleiades 引入了比对嵌入（Alignment Embeddings）和堆叠式层级注意力（stacked hierarchical attention）技术，使其能够在无需超长上下文窗口的情况下，精确地对表观基因组进行建模。

作者将 Pleiades 应用于阿尔茨海默病（AD）和帕金森病（PD）的早期检测，在真实的临床队列中取得了高精度的诊断性能。更重要的是，通过与领先的蛋白质生物标志物（如pTau-217）进行多模态融合，模型的性能达到了出色水平，凸显了表观基因组学与蛋白质组学整合的互补价值。

1. 背景介绍

人工智能，特别是先进的语言模型，正在引领生命科学领域进入一个知识发现的新时代。许多现有的生物学基础模型（foundation models）主要聚焦于人类基因组的DNA序列，通过捕捉DNA模式的统计规律和协同进化关系，取得了巨大成功。然而，这些模型忽略了一个至关重要的维度：表观基因组（epigenome）。

表观基因组是指一系列不改变DNA序列本身，但能动态调控基因表达的化学修饰。其中，DNA甲基化（DNA methylation）扮演着如同基因开关般的关键角色，它深刻地影响着细胞身份的确定、基因对环境信号的响应，以及多种疾病（尤其是癌症和年龄相关疾病）的发生与发展。

在神经退行性疾病领域，如阿尔茨海默病（AD）、帕金森病（PD）和肌萎缩侧索硬化（ALS），DNA甲基化的动态变化正日益被揭示为其病理生理学的核心环节。这些疾病是全球主要的致死和致残原因之一，但其研究和诊断长期面临巨大挑战：

组织获取困难：常规的脑组织活检几乎不可能。
动物模型转化率低：动物模型难以完全模拟人类疾病的复杂性。
疾病起病隐匿：病理变化可能比临床症状早出现长达二十年。

尽管近年来出现了一些有前景的蛋白质生物标志物，如血浆pTau-217，但它们在临床应用中仍存在局限性，无法覆盖所有患者和疾病阶段。

与此同时，在肿瘤学领域取得巨大成功的液体活检（liquid biopsy）技术，为神经退行性疾病的研究提供了新的思路。通过分析血浆中的细胞游离DNA（cfDNA），我们可以无创地获取来自全身组织（包括脑部）的分子信息。cfDNA 的甲基化状态不仅能揭示其细胞来源，还能反映疾病过程中的动态变化。

然而，要充分利用 cfDNA 的表观遗传信息，需要更强大的计算工具。为此，作者开发了 Pleiades，一个专为人类表观基因组设计的生物学基础模型系列。Pleiades 旨在超越纯DNA序列的建模，通过整合甲基化信息，为神经退行性疾病等复杂疾病的早期诊断、生物学发现和治疗靶点开发提供一个全新的、强大的平台。

2. Pleiades 模型

Pleiades 系列模型的核心是其先进的架构设计和独特的预训练策略，使其能够高效、精准地处理复杂的表观基因组数据。

2.1 预训练 (Pretraining)

Pleiades 采用了自回归的 Transformer 解码器架构，并提供了三种不同参数规模的版本：90M、600M和7B。

为了进行有效的预训练，作者精心构建了一个包含1.9万亿（1.9T）token的甲基化和未甲基化DNA序列语料库。该语料库主要由三部分组成：

人类正常细胞类型甲基化图谱：来自205个组织样本、覆盖39种细胞类型的高质量全基因组亚硫酸氢盐测序（WGBS）数据。
血浆cfDNA：来自健康个体的WGBS和酶法甲基化测序（EM-Seq）数据。
人类基因组多样性图谱：一个代表了千人基因组计划（1000 Genomes Project）多样性的基因组图谱。

模型的训练目标是标准的自回归语言模型任务，即根据前面的序列预测下一个核苷酸或甲基化标记。其损失函数为负对数似然：

\[L = -\sum_{t=1}^{T} \log P(x_t | x_{<t}; \theta)\]

2.2 比对嵌入 (Alignment Embeddings)

为了精确捕捉对基因调控至关重要的长程基因组上下文信息，作者引入了一项关键的架构创新: 比对嵌入（Alignment Embeddings, AEs）。

传统的位置嵌入只能表示序列内的相对位置。AEs 则旨在将每个核苷酸在整个基因组中的绝对坐标直接编码到模型的表征中。

对于序列中的每一个核苷酸，作者首先通过其CIGAR字符串恢复其在GRCh38参考基因组上的精确位置。然后，将这个绝对位置分解为四个整数部分：

染色体号（chromosome）
百万位偏移量（millions offset）
千位偏移量（thousands offset）
个位偏移量（ones offset）

这四个整数分别通过各自独立的嵌入表（embedding table）转换为向量，然后拼接起来，形成该核苷酸的最终AE token。

通过这种方式，Pleiades 能够在固定的上下文窗口内，高效地学习和理解跨越数百万碱基的长程表观基因组结构，而无需依赖计算成本极高的超长上下文窗口。与仅编码CpG位点位置的方法（如CpGPT）相比，AEs为基因组中的每一个核苷酸（约31亿个）都提供了精确的坐标信息。

2.3 层级式集合建模 (Hierarchical Set Modelling)

许多临床任务需要对整个生物样本（包含数亿个cfDNA片段）进行综合判断，而非分析单个片段。为了高效地处理这种大规模的集合，作者采用了多层层级式注意力Transformer（Hierarchical Attention Transformer, HAT）架构。

该架构通过堆叠 $N$ 个HAT模块，实现对信息的逐层池化（pooling）。

第0层：基础的 Pleiades 模型（base decoder）处理每个cfDNA片段，并输出其对应的 [CLS] 嵌入向量。
第1层：第一个HAT编码器将一个基因组区域内（如1kb窗口）所有片段的嵌入向量作为输入，通过注意力机制进行聚合，输出一个代表该区域的区域向量（region vector）。
第2层及以上：更高层的HAT编码器则将多个区域向量作为输入，进一步聚合，最终在顶层输出一个代表整个样本的、高度浓缩的样本嵌入向量（sample-level embedding），用于下游的分类任务。

这种层级式设计不仅保留了从片段到区域再到样本的多尺度基因组信息，还能处理任意大小的输入集合，同时保持了计算上的高效性，完美解决了标准Transformer架构难以处理超大规模序列集合的难题。

3. 实验分析

作者从基础的基因组任务到复杂的临床应用，对 Pleiades 模型系列进行了全面的性能评估。

3.1 DNA序列分类基准测试

作者首先在一个被广泛用于评估DNA语言模型的基准测试集(Nucleotide Transformer benchmarks)上对 Pleiades 进行了评估。该测试集包含识别启动子、增强子、剪接位点和组蛋白修饰位点等18项任务。

作者在原始基准数据集中发现了一个严重的位置偏差：阴性样本的起始位置总是1000的倍数。为了进行公平的评估，作者通过添加随机抖动消除了这一偏差，并在此无偏基准集上进行了所有测试。

图b (总体性能)：在所有18项任务中，Pleiades 系列模型均显著优于两个主流的DNA基础模型（DNABERT-2 和 NT MS 2.5B）。Pleiades 7B 在15项任务中取得最高分，总体MCC（马修斯相关系数）高达 $0.98$。
图c (组蛋白修饰预测)：在组蛋白修饰预测任务上，即使是小规模的 Pleiades 模型也表现出压倒性优势。例如，Pleiades 90M 的性能远超参数量是其27倍的 NT MS 2.5B。这有力地证明了在预训练中引入甲基化信息对于学习更广泛的表观遗传调控至关重要。
图e (少样本学习能力)：Pleiades 7B 展示了惊人的少样本学习（few-shot learning）能力。在H3K27ac预测任务中，仅用152个样本进行训练，其 MCC 就达到了近乎完美的 $0.9925$。而其他模型在训练了数万个样本后也无法达到同等水平。

3.2 表观基因组序列的生成

作者进一步探索了 Pleiades 的生成能力，即能否在计算机中合成出具有真实生物学特性的 cfDNA 片段。

图b, c (核苷酸保真度)：在给定5个片段作为提示（prompt）来生成第6个片段的任务中，Pleiades 7B 的平均单核苷酸准确率达到了83%，并且生成的序列与真实序列的最长公共子序列（LCS）长度达到了85%。相比之下，Pleiades 600M 和纯DNA模型 Evo 2 7B 的表现则差得多。
图d, e (甲基化组一致性)：Pleiades 7B 生成的片段在甲基化模式上与真实数据高度一致。其 CpG 甲基化的皮尔逊相关系数（Pearson correlation）高达 $0.91$，并且对非CpG甲基化（CHG 和 CHH）的上下文分布偏差也最小。
图f (片段组学特征)：最令人惊讶的是，Pleiades 生成的片段长度分布，完美地重现了由核小体结构决定的经典10-bp周期性。这表明模型在没有被直接告知任何片段长度或核小体信息的情况下，仅通过学习碱基分辨率的序列数据，就内在地学会了染色质的高级组织规律。
从600M到7B的参数量扩展，以及表观遗传信息的预训练，极大地提升了模型的生成保真度。

3.3 cfDNA片段的细胞来源 (CToO) 预测

作者进一步将 Pleiades 应用于一个极具挑战性的任务：在单个片段水平上预测其细胞来源（Cell Type-of-Origin, CToO）。

图b (CToO分类性能)：在不同大小的差异甲基化区域（DMRs）标志物集上，Pleiades 模型的 F1 分数均显著高于传统的随机森林分类器。并且，随着标志物集的扩大，Pleiades 的优势更加明显，展示了其利用更广泛基因组信息的能力。在分布外（OOD）的独立测试集上，模型同样表现出色。
图c, d (细胞类型富集)：基于 CToO 的预测，作者展示了对特定细胞来源片段的富集能力。即使是血浆中含量极低的细胞类型，如神经元（Neuron，从7.4%富集到58.5%）和肝细胞（Hepatocyte，从4%富集到73.3%），也能实现数倍到数十倍的有效富集。
图e (组织解构基准测试)：作者将 Pleiades 的片段级预测结果聚合到样本水平，并与两种领先的组织解构工具（UXM 和 CelFiE）进行了比较。在不同细胞类型混合的模拟实验中，Pleiades 的性能（以 Jensen-Shannon 散度衡量，越低越好）在大多数情况下都达到了最佳。

3.4 在神经退行性疾病诊断中的临床应用

最后，作者将 Pleiades 应用于其核心目标：阿尔茨海默病（AD）和帕金森病（PD）的早期诊断。作者在一个包含81名患者的 AD 临床队列和160个样本的 PD 队列上，使用层级式集合模型（hierarchical set model）进行了诊断性能评估。

图b (AD诊断)：
- Pleiades 7B 模型表现出强大的诊断能力。当分别聚焦于不同细胞类型（如小胶质细胞 microglia, 神经元 neuron）的标志物区域时，其 AuROC 值均在0.80-0.82之间。当将所有细胞类型的预测结果进行平均池化后，最终的 AuROC 达到了 0.89。
- 与七种领先的血浆蛋白质生物标志物相比，Pleiades 7B 的性能优于或持平于除 pTau-217 之外的所有标志物。
- 最引人注目的是，当将 Pleiades 7B 的预测结果与 pTau-217 进行多模态融合时，诊断性能达到了state-of-the-art的 AuROC 0.97，显著优于任何单一模态。这凸显了表观基因组学与蛋白质组学信息的强大互补性。
图c (PD诊断)：在 PD 队列中，Pleiades 7B 同样表现出色，基于小胶质细胞和神经元区域的 AuROC 分别为 $0.82$ 和 $0.83$，平均池化后的 AuROC 达到 $0.84$。

这些结果有力地证明，Pleiades 能够从血浆 cfDNA 中捕捉到与神经退行性疾病相关的、具有细胞类型特异性的表观遗传信号，为这类疾病的无创早期诊断提供了全新的、高精度的解决方案。