食用植物基因组的基础大型语言模型.
0. TL; DR
AgroNT 是一个基础大语言模型，该模型在48种植物（主要为作物）的基因组上进行了训练。AgroNT能够解决多种预测任务包括：调控元件注释、启动子/终止子强度预测、组织特异性基因表达预测、功能性变异的优先级排序。
作者还在木薯（cassava）中进行了大规模的计算机饱和诱变分析，评估了超过1000万个突变的调控影响，并将其预测效果作为变异表征的资源提供。作者提出了将本文汇编的多样化数据集作为“植物基因组基准”（Plants Genomic Benchmark, PGB），为植物基因组研究中基于深度学习的方法提供一个全面的基准。
1. 背景介绍
高通量新一代测序技术的出现，导致植物科学领域可用基因组数据的急剧增加。自20多年前模式植物拟南芥（Arabidopsis thaliana）的基因组序列完成以来，迄今已有200多种植物的基因组序列被公布。然而，一个物种的基因组组装仅仅是理解其基因组的第一步。要对重要的基因组区域（如基因或调控元件）进行结构和功能注释，还需要大量的额外实验和计算处理。
许多已被测序的植物物种，特别是那些对区域粮食和经济安全至关重要但未在全球范围内交易的“孤儿作物”（orphan crops），仍然缺乏足够的补充性实验资源。由于缺乏全面的转录组、调控组或蛋白质组实验，我们对这些作物的生长、衰老、产量以及对生物和非生物胁迫的反应的理解受到限制，这阻碍了现代改良工具（如基因组选择和基因组编辑）的应用。
在这种背景下，能够直接从DNA序列准确预测基因注释和调控基因组特征的新方法，有潜力为生物学研究提供宝贵见解，并辅助基因组编辑应用。一旦为感兴趣的特定生物过程开发出准确的预测模型，研究人员就可以完全自由地评估任何变异的效果。
深度学习方法非常适合直接从DNA序列学习，以实现对特定结果的准确预测。然而，大多数深度学习方法严重依赖于有监督学习，这需要大量的标记数据，在数据稀缺的情况下可能导致性能不佳。为了解决这一局限性，自监督学习（self-supervised learning）应运而生。在这种方法中，模型首先在大量未标记的数据上进行训练，学习有区别性的特征，然后针对具体的监督任务进行微调。这种方法在自然语言处理（NLP）领域取得了巨大成功，特别是像BERT和GPT这样的语言模型（LMs）。
语言模型同样被广泛应用于生物学领域。它们能够被训练在未标记的数据上，并生成能够解决特定任务的通用表示。此外，语言模型不依赖于单一的参考基因组，可以利用来自不同物种的多个参考基因组，从而增加整体多样性，这已被证明能显著提高预测性能。在植物基因组研究的背景下，作者提出了一个名为AgroNT的新型DNA大语言模型，旨在解决上述挑战。
2. AgroNT框架
作者开发了一个基于Transformer的DNA语言模型，名为AgroNT (Agronomic Nucleotide Transformer)。该模型从48种不同植物物种的基因组DNA序列中学习通用的核苷酸序列表示。
2.1 预训练（Pre-training）
AgroNT的预训练策略基于掩码语言建模（Masked Language Modeling, MLM）。输入从48种植物的参考基因组中随机抽取的约6000个碱基对（bp）的DNA序列。
作者将DNA序列分割成6个核苷酸一组的片段（6-mers），并将每个6-mer视为一个“词元”（token）。
在每个输入序列中，随机“掩码”（mask）15%的词元。MLM的目标是训练模型，使其能够根据序列中未被掩码的部分，准确地预测出被掩码的词元。
通过在海量的未标记DNA序列上进行这种自监督学习，AgroNT学会了DNA序列中复杂的语法和语义规则，即基因组的“语言”。
2.2 微调（Fine-tuning）
在预训练之后，AgroNT可以通过有监督学习的方式，针对特定的下游任务进行微调。为了提高效率，作者采用了参数高效的微调技术IA3。
在微调时，作者冻结了预训练模型的大部分权重（如Transformer层和嵌入层），只引入少量新的可学习权重。根据具体任务，在模型的顶部添加一个简单的分类头或回归头。与对整个模型进行微调相比，这种方法在显著提升性能的同时，大大减少了计算资源的需求和训练时间。
2.3 模型架构
AgroNT是一个仅包含编码器的Transformer模型，拥有十亿个可训练参数。
词汇表包含所有4096种可能的6-mers，以及代表A, T, C, G, N的独立词元和一些特殊词元（如[CLS], [MASK]等）。模型接收1025个词元的序列，通过一个嵌入层将每个词元投射到一个1500维的空间，并加上一个可学习的位置嵌入。嵌入向量随后通过40个注意力模块。每个模块包含层归一化、多头自注意力机制和多层感知机。
3. 实验分析
作者在一系列共8个基因组预测任务上，对AgroNT的性能进行了评估，并将其与现有的state-of-the-art方法进行了比较。
3.1 多聚腺苷酸化位点、剪接位点和长非编码RNA预测
多聚腺苷酸化位点（APA）预测使用PlantAPAdb数据库中5个植物物种的超过24万个APA位点进行训练和测试。剪接位点预测使用拟南芥的全基因组受体（acceptor）和供体（donor）剪接位点数据。长非编码RNA（lncRNA）预测使用GreeNC数据库中6个植物物种的lncRNA和mRNA数据，通过匹配长度和GC含量来构建具有挑战性的数据集。
- 图b (APA预测)：AgroNT在所有5个物种中都表现出高准确性，AUC值在0.89到0.96之间，AUPRC值在0.82到0.93之间。在一个与DeepPolyA模型相同的拟南芥数据集上，AgroNT取得了近乎完美的性能（AUC=0.99），超越了DeepPolyA。
- 图d (剪接位点预测)：AgroNT在预测受体和供体位点方面均表现出色，AUROC分别为0.97和0.95。
- 图f (lncRNA预测)：在区分lncRNA和mRNA的匹配数据集上，AgroNT在6个物种中均取得了高分类性能（AUROC在0.79到0.89之间）。
3.2 启动子和终止子活性预测
使用STARR-seq实验测得的、在烟草叶片和玉米原生质体中瞬时转化的三种植物的启动子和终止子活性数据。
- 图c, e (启动子活性预测)：AgroNT能够高精度地预测启动子强度，在玉米和烟草系统中的$R^2$值分别达到0.70和0.73，平均比一个已发表的基于CNN的模型高出3个$R^2$点。
- 图d, f (终止子活性预测)：AgroNT同样能高精度地预测终止子强度，在玉米和烟草系统中的$R^2$值分别为0.67和0.77，其性能与另一个基于CNN的模型相当或更优。
3.3 染色质可及性预测
使用来自6种植物多个组织的ATAC-seq数据，预测基因组范围内的染色质开放区域。
AgroNT在不同植物物种和组织中预测染色质开放peak的性能强大，AUROC值在0.94到0.98之间。考虑到数据集中正样本比例很低（平均0.12），这一性能尤为出色。与一个基于CNN的模型plantDeepSEA相比，AgroNT在6个物种中的5个上表现相当或更优。作者还以水稻的DEP1基因为例，展示了模型在识别影响产量的非编码功能性变异方面的潜力。
3.4 组织特异性基因表达预测
收集5种植物的基因表达图谱数据，训练AgroNT从启动子近端序列（TSS上游5000bp至下游1000bp）预测不同组织中的基因表达水平。
- 图a：AgroNT在所有5个物种中都取得了中等水平的基因表达预测性能（$R^2$值在0.419到0.621之间），其性能比现有方法有高达三倍的提升。
- 图b, c：预测的组织间表达模式与观测到的模式在总体上一致，但预测的组织间差异小于观测值。
- 图d, e：模型在预测组织间的基因上调或下调方向（LFC direction）方面的准确率略高于随机（0.54-0.58）。
- 图f：通过“词元重要性”分析发现，模型主要关注TSS附近约100bp的区域，这表明模型主要学习了与基础转录活性相关的特征，而难以捕捉决定组织特异性的远端调控元件。
作者进一步探索了不同输入序列长度的影响。在玉米中，将输入序列扩展到TSS下游5000bp时，预测性能（$R^2$）提升了4%。这表明整合更完整的基因调控结构（如终止子）有助于提高基因表达预测的准确性。
3.5 功能性变异的零样本预测（Zero-shot Prediction）
不进行任何微调，直接利用预训练的AgroNT模型评估遗传变异的功能后果。作者计算了多种零样本分数，如基于嵌入空间向量距离的分数和基于损失函数的对数似然比（LLR）分数，并与一个现有的GPN模型以及传统的进化保守性分数进行比较。
- 图b：在富集潜在有害的低频变异方面，AgroNT的LLR分数和基于嵌入向量点积的分数表现出很强的能力，在水稻中甚至显著优于专门为近缘物种设计的GPN模型。这凸显了AgroNT跨物种预训练的优势。
- 图c：在识别与GWAS信号相关的非编码变异方面，AgroNT的LLR分数与GPN表现相当。
- 图d：AgroNT的零样本分数与进化保守性分数的相关性很低，表明它捕捉到了超越保守性的、新的功能信息。
3.6 通过计算机饱和诱变分析调控潜能
在木薯基因组中，作者对1000个高置信度的增强子区域和1000个高表达基因的启动子区域，系统性地进行了所有可能的单核苷酸突变，并使用微调后的AgroNT模型预测这些突变对增强子活性或基因表达的影响。
- 图c, d：对于增强子，影响最大的突变位于已知的TCGAAT和DOF基序内。
- 图g, h：对于启动子，影响最大的突变位于Trihelix和DOF基序内。
这些结果表明，AgroNT模型已经学习到了这些转录因子结合基序在调控功能中的重要性。作者将超过1000万个突变的预测影响作为资源公开发布，为未来的功能研究和基因编辑提供了宝贵信息。
