一种用于整合多组学数据以预测早产风险的新型基于序列的Transformer模型架构.
0. TL; DR
本文介绍了一种基于 Transformer 的LLM架构，旨在通过整合母体血浆中的cfDNA和cfRNA多组学数据实现对早产（Preterm Birth, PTB）风险的精准预测。
在一个包含两个独立前瞻性队列的测试集上，模型表现出色。作者还探索了一种基于 RNA 编辑（RNA editing）的传统机器学习融合策略，进一步验证了多组学融合的价值。
1. 背景介绍
早产（Preterm Birth, PTB），即妊娠未满37周的分娩，是导致孕产妇和新生儿死亡，以及新生儿终身疾病（尤其是神经和发育障碍）的主要风险因素。尽管医学界付出了巨大努力，但早产的发生率依然居高不下，成为现代产科面临的最大挑战之一。因此，开发能够快速、准确识别早产高风险人群的风险评估方法至关重要。
近年来，人工智能（AI），特别是大语言模型（LLMs），在疾病预测领域展现出巨大潜力，预示着计算创新在医学和生物学中的新纪元。GeneLLM就是一个专为处理基因组数据而设计的 Transformer 框架。然而，将 LLM 与多组学数据（multi-omics data）相结合，特别是在早产等妊娠相关并发症的预测中，仍是一个鲜有探索的领域。
无创产前检测技术的发展为我们提供了新的窗口。从母体血浆中提取的细胞游离DNA（cfDNA）和细胞游离RNA（cfRNA）已成为监测孕期健康的重要生物标志物。
- cfDNA：包含来自母体和胎儿的遗传信息，已在产前诊断中得到广泛应用。
- cfRNA：涵盖多种 RNA 生物类型，能动态反映孕期基因表达的变化，为了解母胎健康提供了独特的视角。
本研究的核心目标，正是要探索如何利用 GeneLLM 的强大能力，将 cfDNA 和 cfRNA 这两种互补的多组学数据进行有效整合，从而构建一个稳健、非侵入性的早产预测新方法。通过这一创新，作者不仅旨在提升早产预测的准确性，还希望揭示 RNA 编辑等新生物学现象在早产发生中的潜在作用。
2. PTB Transformer预测模型
作者设计了一套完整的从数据采集、处理到模型构建的流程，其核心是基于 GeneLLM 的 Transformer 模型架构，以及一套创新的多组学数据语言化策略。
2.1 队列与多组学数据采集
研究纳入了两个独立的前瞻性队列（LG 队列和 FJ 队列），共计682名孕妇，采用巢式病例对照研究设计。
对参与者的血浆样本进行了 cfDNA 和 cfRNA 测序。cfDNA 采用20X高深度测序，而 cfRNA 则使用 PALM-Seq 方法，以高效捕获包括 mRNA、miRNA、lncRNA 在内的多种 RNA 类型。
2.2 多组学数据的序列化与量化
为了让 Transformer 模型能够处理异构的 cfDNA 和 cfRNA 数据，作者设计了一套巧妙的伪序列（pseudo-sequence）生成策略。
cfDNA VCF 数据的序列化
将标准的 VCF（Variant Call Format）文件转换为基因组窗口内的二进制变异向量，其中1代表突变位点，0代表非突变位点。将二进制对（如“01”）映射为伪核苷酸（如“T”），从而将二进制向量转换为一条伪核苷酸序列。将长序列分割成150个碱基对的伪片段，以适配 GeneLLM 的输入格式。
cfRNA 表达数据的序列化
将基因的 TPM（Transcripts Per Million）表达量进行 $log_2(TPM+1)$ 转换，然后线性缩放到一个预定义的整数范围，并四舍五入。
根据得到的整数计数值，按比例重复每个基因对应的 token。例如，如果基因A的量化值为5，则在序列中重复5次基因A的 token。这种方法巧妙地将基因的身份和丰度信息编码到序列的长度和频率中。
模态不可知整合 (Modality-Agnostic Integration)
作者有意不使用特定于模态的嵌入来区分 cfDNA 和 cfRNA 的 token。两种数据类型都使用相同的词汇表和预处理流程被转换为统一的 token 流。这种模态不可知的方法，使得模型的自注意力机制能够不受约束地、自由地学习 cfDNA 变异与 cfRNA 表达之间的交叉依赖关系。
2.3 Transformer模型架构与训练
采用预训练好的 GeneLLM 模型作为骨干，其包含6个 Transformer 层，每个层有4个注意力头，嵌入维度为768。通过迁移学习，模型能够利用 GeneLLM 已经学到的丰富生物学知识，从而在有限的样本上避免过拟合。
Transformer 编码器的输出会进入一个专门的疾病调优模块。该模块包含多尺度特征提取器，通过残差连接和自适应池化，进一步提炼与 PTB 相关的细微基因组交互信息。
最终的特征嵌入被送入一个带有 sigmoid 激活函数的线性层，输出 PTB 的预测概率。
模型使用 AdamW 优化器进行微调，学习率为 $1 \times 10^{-4}$。采用10折交叉验证策略来确保模型评估的稳健性。
3. 实验分析
作者从多个维度对模型的性能进行了深入的评估和分析。
3.1 基于Transformer的多组学模型性能评估
作者分别构建并评估了 cfDNA-only、cfRNA-only 以及 cfDNA+cfRNA 融合模型的性能。
- 图A (cfDNA-only)：该模型在训练集上表现完美（平均 AUC = 0.995），但在验证集上有所下降（平均 AUC = 0.840）。在独立的留出测试集上，AUC 为 0.822，显示了合理的真实世界预测能力。
- 图B (cfRNA-only)：该模型在验证集上的性能更优（平均 AUC = 0.886），表明 cfRNA 特征可能更不易过拟合。在测试集上，其 AUC 达到了 0.851，优于 cfDNA-only 模型。作者认为这可能与本研究中 cfRNA 的样本量更大有关。
- 图C (cfDNA+cfRNA 融合模型)：为了公平比较，所有三个模型都在 cfDNA 和 cfRNA 数据均可用的样本子集上进行了评估。结果显示，融合模型的性能最佳，在测试集上的 AUC 高达 0.890，显著优于任何单一模态的模型（$P < 0.05$）。
这些结果有力地证明了 Transformer 架构在整合多组学数据方面的强大能力，以及 cfDNA 和 cfRNA 在 PTB 预测中提供了互补的信息。
3.2 基于传统机器学习的多组学整合分析
为了进一步验证多组学融合的价值，作者还采用了一种独立于 LLM 的生物学整合策略：RNA 编辑分析，并使用传统的随机森林（Random Forest）模型进行预测。
- 图A, B, C (cfRNA数据质量)：作者首先确认了 cfRNA 数据的质量。PALM-seq 方法成功捕获了丰富的蛋白编码基因和 miRNA，且内含子与外显子的读数比率很低，表明 gDNA 污染极少。
- 图D, E (单模态性能)：使用随机森林模型，仅基于 cfRNA 表达谱的 AUC 为 $0.77$，仅基于 cfDNA TSS 评分的 AUC 为 $0.74$。这表明两种模态本身都具有一定的预测价值。
- 图F, G, H (RNA编辑分析)：作者使用 DEMINING 软件来区分真实的 RNA 编辑事件和 DNA 突变。结果显示，绝大多数（96.9%）在 cfRNA 中检测到的变异是 cfRNA 特有的，并且 DEMINING 能够非常准确地将真正的 DNA 突变识别出来。
- 图I, J (RNA编辑与PTB)：一个关键发现是，PTB 孕妇中预测的 RNA 编辑事件数量显著高于足月分娩的孕妇（$P < 0.001$）。基于这些 RNA 编辑事件特征构建的随机森林模型，在测试集上取得了 0.82 的 AUC，优于任何单一模态的传统模型。
这一分析再次从一个独立的角度证实了整合 cfDNA 和 cfRNA 数据的协同优势。
3.3 cfRNA揭示PTB的病理生理机制
为了深入理解 PTB 的生物学机制，作者对差异表达的 cfRNA 进行了功能分析。
- 图A (GO富集分析)：在 PTB 孕妇中，上调的基因主要富集在T细胞活化和炎症相关的通路上，而下调的基因则与血管生成（angiogenesis）失调有关。
- 图B, C (临床炎症指标)：与 cfRNA 的发现一致，PTB 孕妇在采样时（发病前）的血液常规指标，如白细胞计数（WBC）和超敏C反应蛋白（hs-CRP），均显著升高，证实了 PTB 存在明显的全身性炎症状态。
- 图D, E (ceRNA调控网络)：作者进一步构建了竞争性内源RNA（ceRNA）调控网络，发现了一个以 hsa-miR-17-5p 为核心的调控轴。在 PTB 中，hsa-miR-17-5p 表达下调，导致其靶向的促炎 mRNA（如 TNFRSF10B, ICAM1）和促血管功能障碍的 lncRNA（如 KMT2E-AS1, TP73-AS1）表达上调。
这些分析不仅揭示了炎症和血管功能障碍在 PTB 病理过程中的核心作用，也展示了 cfRNA 作为早期疾病指标的巨大潜力。
