0. TL; DR

Genos 是一个以人类为中心的基因组基础模型，专为百万碱基对（1-Mb）级别的序列建模而设计。模型采用了一种大规模的专家混合结构，在高质量的人类de novo组装数据上进行训练。

Genos能够进行单核苷酸分辨率的分析，并动态模拟非编码区变异对RNA表达谱的级联效应。在全面的基准评估中，Genos在关键的人类基因组学任务上一致地超越了现有模型，并展示了强大的组学-文本跨模态诊断能力。

1. 背景介绍

基因组学研究正从大规模数据积累的早期阶段，过渡到智能分析和洞察提取的当代。高通量测序技术的普及产生了前所未有的核酸序列数据，使得基于深度学习的基因组基础模型（GFM）成为破译生命复杂性的关键计算工具。

近年来，GFM领域取得了显著进展，如EVO2和AlphaGenome等开创性工作引领了长序列建模和跨物种泛化的趋势。然而，当这些模型应用于人类转化医学和临床高通量分析时，面临两大核心瓶颈：

以人类为中心的表示鸿沟：现有的跨物种模型（如EVO2）优先考虑跨物种覆盖范围而非人群多样性，导致在表示人类特有的调控元件（如增强子）和稀有变异时存在系统性偏差。这从根本上限制了模型在复杂人类疾病和罕见病研究中的预测准确性和泛化能力。
超长序列的效率和部署挑战：虽然现有模型已能处理百万碱基对（1-Mb）级别的上下文，但这通常伴随着高昂的计算成本。例如，EVO2的400亿参数版本需要庞大的GPU集群进行训练，且推理延迟高，不适合时间敏感的临床分析。

为了解决这两大瓶颈，作者专注于稳健的数据工程和优化的技术架构，最终推出了Genos，一个以人类为中心的基因组基础模型。Genos旨在提供一个具有卓越准确性和效率的基因组智能分析引擎，从而推动该领域进入大规模应用阶段。

2. Genos框架

Genos的设计核心在于其数据、架构和训练策略的全面优化，以实现对人类基因组的高效、精准建模。

2.1 数据收集与预处理

Genos的训练数据精心挑选自多个高质量的人类基因组项目，包括HPRC（人类泛基因组参考联盟）、HGSVC（人类基因组结构变异联盟）和CEPH（人类多态性研究中心）等，共计636个高质量基因组，代表了全球多样化的人群。

训练分为两个主要阶段。

预训练阶段：样本被划分为不同长度（8k、32k、128k、1Mb bp），模型以递增长度的方式进行训练，逐步学习从短程到长程的依赖关系。
持续预训练阶段：在这一阶段，所有长度的样本被重新混合和随机化，并且不再排除远端基因间区，确保模型能够学习到包括“负向”背景序列在内的整个基因组景观。

2.2 模型架构设计

Genos采用了一个从Transformer演化而来的专家混合（Mixture of Experts, MoE）架构，采用单核苷酸分词，保留了最高的序列分辨率。并针对超长序列进行了多项优化。

与让整个模型处理所有输入不同，MoE包含一个路由器（router）网络和多个专家（expert）子网络。对于每个输入的词元（token），路由器会动态地选择一小部分（如2个）最相关的专家来处理它。这种条件计算的方式使得模型可以在参数总量巨大的情况下，保持每个输入的计算成本不变。这对于处理包含大量简单重复区域和少量复杂功能区域的基因组序列尤为有效。通过引入辅助损失，确保所有专家被均匀激活，避免了路由器坍塌问题。

模型使用RoPE来动态地注入位置信息，而不是使用固定的位置嵌入。通过设置一个极大的基频，RoPE能够支持长达1百万个词元的超长序列。分组查询注意力GQA通过让多个查询头共享同一组键（key）和值（value），在保持表示能力的同时，显著降低了注意力计算的复杂度和内存占用。

使用RMSNorm来稳定训练。使用SwiGLU以提高表达能力。训练中同时使用了张量并行、流水线并行、上下文并行、数据并行和专家并行，以确保在数百个GPU上的大规模训练能够稳定高效地进行。

2.3 可扩展的模型变体：Genos-1.2B 和 Genos-10B

作者发布了两个不同规模的版本，以适应不同的计算资源和应用场景。Genos-1.2B适用于资源受限的分析和大多数微调场景，而Genos-10B则为需要极高容量的建模任务（如全基因组结构变异解释）而设计。

3. 实验分析

3.1 基准评估与性能比较

作者在一系列公开的基因组学基准测试（GB, NTB, LRB）上，将Genos与多个state-of-the-art模型（如GENERator-3b, HyenaDNA-1M, NT-2.5b-multi, Evo2-7b/40b）进行了比较。任务涵盖了短序列（200-600 bp）和长序列（8k-128k bp）的分类问题。

图B (短序列任务)：在编码/非编码区辨别、增强子检测等任务中，Genos-10B的性能（以AUC衡量）全面领先于其他模型。
图C (长序列任务)：在需要长程上下文的任务中，如致病性变异预测（variant_effect_pathogenic_clinvar_8K），Genos-10B的AUC达到了0.9326，显著超过了GENERator-3B (0.7206) 和Evo2-7b (0.7308)。在超长序列的突变热点预测任务中，Genos-10B在所有长度（8k, 32k, 128k bp）上都取得了最佳性能。

这些结果表明，Genos无论是在短程还是长程的基因组理解任务中，都表现出强大且一致的性能，验证了其架构和训练策略的优越性。

3.2 RNA-seq谱预测

作者对Genos-1.2B模型进行微调，以从DNA序列预测单碱基分辨率的RNA-seq谱。作者在来自ENCODE和GTEx的667个样本中进行了训练，并在两个细胞系（GM12878和NK细胞）上进行了评估。

Genos预测的RNA-seq谱与实验测量的真实数据之间表现出极高的一致性。在GM12878细胞中，全基因组的皮尔逊相关系数（log1p Pearson correlation）达到了0.9335。

通过可视化一个32kb的基因组区域，可以清楚地看到Genos预测的信号（蓝色轨道）与真实信号峰（ZPBP基因）的位置和链特异性高度吻合。在NK细胞中，预测信号也准确地集中在MPL基因座附近。

这些定量和可视化的证据共同验证了Genos作为一个可靠的in silico RNA-seq数据生成工具的能力，它能准确捕捉细胞类型特异性和链特异性的转录组景观。

3.3 文本-基因组模型融合

为了探索Genos在多模态应用中的潜力，作者将Genos与一个文本大语言模型（如Qwen3或021科学基础模型）相融合，用于预测由基因变异引起的遗传疾病。该任务的输入包含问题描述、参考基因序列和突变基因序列，输出则包括推理步骤和疾病分类。

仅使用基因组模型时，Genos-10B在疾病分类任务中取得了92.07%的准确率和72.59%的宏F1分数，优于Evo2等其他基因组模型。当与文本模型融合后，性能得到了巨大提升。Genos-1.2B + 021-8B的模型组合取得了最高的宏F1分数（90.37%），准确率达到98.28%。

这一结果证明了Genos强大的DNA序列处理能力，并且其学到的表示可以有效地与文本LLM的推理能力相结合，从而在复杂的生物医学推理任务中取得优异表现。