MicroGenomer: 实现多尺度基因组理解和生态生理性状预测的可转移微生物基因组表示基础模型.

0. TL; DR

MicroGenomer 是一个用于可转移微生物基因组表征的基础模型，旨在实现多尺度的基因组理解和生态生理性状预测。MicroGenomer采用分层训练策略，包括在海量基因组序列（2345亿碱基对）上的预训练、使用GTDB策划的标记基因集进行领域特定的中间训练，以及针对特定任务的后期训练。

尽管MicroGenomer的架构精简，只有4.7亿个参数，但它在关键任务上的表现与规模近85倍的模型相当。与传统的以基因为尺度的编码器不同，MicroGenomer能够生成稳健的基因组尺度嵌入，用于下游建模。广泛的评估表明，MicroGenomer能有效捕捉物种空间中的系统发育结构，在基因和基因组尺度的理解以及生态生理性状预测方面表现出色。作者还通过对新分离菌株的靶向湿实验验证了这些能力的实用性，表明MicroGenomer的预测可以为生物学实验提供可靠的指导。

1. 背景介绍

微生物作为地球生态系统的基本组成部分，驱动着全球生物地球化学循环，并深刻影响着人类健康、农业生产力和环境可持续性。高通量测序和基因组组装技术已经产生了跨越海洋、土壤和人类肠道等多种环境的大量基因组和宏基因组数据。然而，将原始序列与对微生物生命的系统性理解联系起来仍然是一个重大挑战。建立从基因尺度到基因组尺度的机制性联系，对于理解特定物种如何表现出复杂的生态生理性状至关重要。

现有许多计算框架旨在从序列数据预测复杂性状，但它们通常依赖于工程化的序列特征和在有限、不平衡的标签上训练的有监督模型，这可能导致在不同物种或环境中的泛化能力差。这凸显了对统一且可转移的表征的迫切需求，这种表征可以整合从单个基因到整个基因组的信息，从而实现跨不同物种和栖息地的稳健多尺度分析和生态生理性状预测。

人工智能（AI）基础模型已在多个生物学领域展现出广泛的实用性。从蛋白质结构预测到复杂的微生物群落分析，这些进展表明自监督学习可以产生高度可重用的序列嵌入，显著减少了对大量手动标记数据集的历史依赖。尽管如此，目前的DNA语言模型在微生物领域的应用仍然有限，特别是在从序列模式转向功能理解时。大多数现有框架，包括像EVO和HyenaDNA这样的长上下文模型，主要作为序列级编码器运行，它们缺乏一个明确的机制来优先考虑和整合作为微生物功能主要驱动力的离散编码序列（CDSs）。这种对基因无知的方法通常无法弥合局部遗传变异和完整基因组的集体功能潜力之间的差距。

为了解决这些局限性，作者提出了MicroGenomer，一个旨在实现对微生物基因组的多尺度和系统发育感知的理解的基础模型。

2. MicroGenomer框架

MicroGenomer是一个具有4.7亿参数的领域自适应迁移学习框架，旨在生成可转移的微生物基因组嵌入，以实现多尺度的基因组理解和生态生理性状预测。它的训练过程分为三个连续的阶段：预训练、中间训练和后期训练。

2.1 预训练阶段 (Pre-training)

预训练使用OpenGenome数据集，包含2345亿个核苷酸的DNA序列。训练一个24层的Transformer编码器，作为MicroGenomer的核心。

采用掩码语言建模（Masked Language Modeling, MLM）损失$L_{MLM}$进行训练。具体来说，输入序列被分词（tokenized）后，随机掩盖15%的词元，模型的目标是根据上下文恢复被掩盖的词元。

\[L_{MLM} = - \sum_{i \in M} \log P(x_i | x_{\setminus i})\]

这个阶段产生的预训练模型能够生成高分辨率的基因尺度嵌入，可用于突变效应预测等任务。

2.2 中间训练阶段 (Mid-training)

使用一个从GTDB数据库中精选的微生物标记基因集，包含来自约11万个基因组的编码序列（CDSs）。将模型从通用的DNA语言知识，进一步调整到具有生物学功能的微生物基因领域。

对于每个基因组，模型首先为其中的所有CDS生成基因尺度的嵌入，然后通过平均池化的方式，将这些嵌入聚合成一个统一的基因组尺度嵌入。

此阶段的优化目标是两个损失函数的组合：

基于系统发育的表示距离损失 ($L_{species}$)

该损失函数旨在让模型学习到的基因组嵌入空间结构与物种的进化树保持一致。进化上相近的物种，其嵌入向量也应该相近。

\[L_{species} = \frac{1}{N} \sum_{(i,j) \in P} (d_{rep}(i, j) - d_{evo}(i, j))^2\]

其中$d_{rep}$是嵌入空间的距离，$d_{evo}$是进化距离。

基因类别分类损失 ($L_{CLS}$)

这是一个标准的交叉熵损失，用于对标记基因进行分类。

\[L_{CLS} = - \sum_{i} y_i \log \hat{y}_i\]

经过中间训练的模型能够生成与进化关系和功能类别相关的基因组尺度表示，可用于代谢模型分析等任务。

2.3 后期训练阶段 (Post-training)

后期训练将模型应用于具体的下游预测任务。将经过中间训练的MicroGenomer核心作为固定的特征提取器，为带有表型注释的微生物数据集生成固定的基因组尺度嵌入。然后，将这些嵌入作为输入，训练轻量级的、任务特定的预测头。

此阶段可用于各种生态生理性状预测任务，如益生菌鉴定、氧耐受性、最适生长条件（温度、pH、盐度）等。

3. 实验分析

3.1 多尺度基因组理解

作者首先在一系列基因组和进化任务上，对MicroGenomer生成的多尺度表示进行了评估。

3.2 微生物生态生理性状的精确预测

作者在一系列六个生态生理性状预测任务上评估了MicroGenomer的性能，并与各种基线模型进行了比较。

3.3 可解释性分析：揭示代谢相似性的模式

为了理解MicroGenomer是如何做出预测的，作者设计了一个注意力池化模块，并分析了其在代谢相似性预测任务中的基因注意力权重。

3.4 湿实验验证

为了评估MicroGenomer在现实世界场景中的预测能力，作者利用该模型对23个新分离的菌株进行了性状预测，并重点对最适生长温度和pH值进行了实验室培养验证。