基于深度学习的泛组织DNA甲基化表观遗传时钟.

• paper：A pan-tissue DNA-methylation epigenetic clock based on deep learning

0. TL; DR

AltumAge是一个基于 DNA 甲基化的年龄预测器，被称为表观遗传时钟 (epigenetic clocks)。AltumAge 采用了一个包含5个隐藏层的多层感知机 (multi-layer perceptron)，并结合了高斯噪声 (Gaussian noise) 和对抗性正则化 (adversarial regularization) 等技术，使其能够捕捉复杂的非线性特征交互，并在性能上超越了传统的线性模型。

AltumAge 在包含142个不同实验、覆盖多种组织类型的大规模数据集上进行训练，是目前最全面的泛组织表观遗传时钟之一。在留一数据集交叉验证 (LOOCV) 中，AltumAge 在老年样本和新的组织类型上表现出比 ElasticNet 更好的泛化能力。此外，它对噪声的抵抗力也更强。

1. 背景介绍

准确测量年龄是衰老研究领域的首要挑战之一。表观遗传时钟 (Epigenetic clocks)，即使用 DNA 甲基化数据进行年龄预测的模型，为研究人员提供了量化衰老过程的工具。

其中，由 Hannum 和 Horvath 在2013年开发的两个预测器最为著名。特别是 Horvath 的模型，作为一个泛组织 (pan-tissue) 的表观遗传时钟，被广泛认为是该领域的黄金标准。然而，包括这两个模型在内的大多数现有表观遗传时钟，都基于简单的正则化线性回归 (regularized linear regression)（如 ElasticNet）构建。这种线性模型虽然易于解释，但其偏差较高，无法捕捉数据中非线性的特征-特征交互。

考虑到表观遗传调控网络的复杂性，CpG 位点之间很可能存在重要的相互作用，而这些相互作用并未被现有的表观遗传时钟所捕获。

深度学习模型已在转录组和临床生物标志物数据的年龄预测中成功应用。在 DNA 甲基化数据方面，DeepMAge 等研究表明，深度神经网络的性能略优于 Horvath 的模型，但它们大多局限于单一组织类型（如血液），并且缺乏对模型为何优于线性模型的深入探索。

为此，作者提出了 AltumAge，一个使用来自 Illumina 27k, 450k 和 EPIC 阵列共有的20,318个 CpG 位点的 beta 值进行泛组织年龄预测的深度神经网络。作者假设，使用所有可用的 CpG 位点，神经网络能够（1）捕捉高阶的特征交互，以及（2）利用那些未被 ElasticNet 模型选中的数千个 CpG 位点中包含的重要信息，从而更好地预测泛组织年龄。

2. AltumAge方法

2.1 数据集

作者从 Gene Expression Omnibus (GEO), Array Express 和 The Cancer Genome Atlas (TCGA) 等公共数据库中收集了142个公开可用的 DNA 甲基化数据集，这些数据集使用了 Illumina 27k 或 450k 芯片。

使用 BMIQ 对 beta 值进行归一化。选取在所有三种 Illumina 芯片（27k, 450k, EPIC）上都共有的20,318个 CpG 位点作为模型的输入特征。

使用稳健缩放器 (robust scaler) 对 beta 值进行缩放，以减轻异常值的影响。将数据集划分为训练集（60%）和测试集（40%）。训练集内部再按数据集随机划分为模型选择集和验证集。

2.2 AltumAge 模型架构

AltumAge 是一个基于多层感知机 (multi-layer perceptron) 的深度神经网络，其整体框架如图所示。

网络结构包含5个隐藏层，每层有32个神经元。激活函数SeLU (Scaled Exponential Linear Unit)。网络引入了一系列正则化：

• L2 正则化：对每层的activity 和kernel 进行 L2 正则化，正则化系数为0.0034。
• 高斯噪声 (Gaussian Dropout)：在隐藏层之间加入高斯噪声，dropout 率为0.1。
• 批归一化 (Batch Normalization)：在每层之后进行。
• 对抗性正则化 (Adversarial Regularization)：在损失函数中加入对抗性扰动项，通过训练模型来抵抗这些最坏情况下的扰动，从而增强模型的鲁棒性。

使用 Adam 优化器，损失函数为均方误差 (Mean Squared Error, MSE)。

2.3 模型可解释性：SHAP

为了理解 AltumAge 这个“黑箱”模型是如何做出预测的，作者采用了 SHAP (SHapley Additive exPlanations) 方法。

SHAP 基于博弈论，能够衡量每个输入特征（在这里是每个 CpG 位点）对模型最终输出（预测年龄）的贡献度。SHAP 值可以被理解为，一个特定 CpG 位点的甲基化状态使预测年龄改变了多少岁。

SHAP 还能揭示不同特征之间的相互作用。一个 CpG 位点与年龄的关系，可能会受到另一个高度相关的 CpG 位点甲基化状态的影响。

3. 实验分析

作者对 AltumAge 的性能进行了全面的评估，并与多种基线模型进行了比较。

3.1 数据集内年龄预测性能评估

作者首先在数据集内部（即训练集和测试集来自同一批数据集）对 AltumAge 和多种线性模型的性能进行了比较。

首先，作者发现，仅仅是使用更大、更多样化的数据集（142个）来训练传统的线性模型，就能显著提升其性能。接着，在相同的训练数据和特征集下，AltumAge 的性能始终优于对应的线性模型。例如，当使用 Horvath 的353个 CpG 位点时，AltumAge 的 MAE (2.425) 显著低于线性回归 (linear regression) (3.011)。最后，通过逐步扩大输入特征集（从353个到903个，再到全部20,318个），AltumAge 的性能也得到了持续的提升，最终在 MAE (2.153) 和 MSE (29.486) 上都取得了最佳性能。

AltumAge 的性能提升，不仅得益于更多的数据，更关键的是其先进的深度学习架构和更全面的特征集。此外，与 Horvath 的模型相比，AltumAge 在老年人群（>60岁）中表现更好，并且在那些 Horvath 模型表现不佳的组织类型（如乳腺、子宫内膜）中，其误差也大大降低。

3.2 模型泛化能力评估

作者通过留一数据集交叉验证 (Leave-one-data-set-out cross-validation, LOOCV) 来评估模型的泛化能力。

• 图 a: 散点图显示，对于那些预测误差较大的样本，AltumAge 的平均表现优于 ElasticNet，表明 AltumAge 对异常值更具抵抗力。
• 图 b: 按年龄分层后发现，对于年龄 > 59岁的样本，AltumAge 的平均绝对误差更低，表明它能更好地捕捉与衰老相关的表观遗传变化。
• 图 c, d, e: 按数据集和组织类型分层后发现，ElasticNet 在数据集中占比最高的血液样本上表现更好，而 AltumAge 则能在更多样化的新组织类型上取得更好的泛化性能。

AltumAge 能够更好地捕捉泛组织的、与年龄相关的全局表观遗传模式，而 ElasticNet 可能更侧重于血液相关的变化。

3.3 模型对噪声的鲁棒性

作者通过向测试集数据中逐步添加人工高斯噪声，来评估模型的鲁棒性。

• 图 a, b: 结果显示，随着噪声的增加，ElasticNet 模型的误差增长速度远快于 AltumAge，尤其是在对异常值更敏感的 MSE 指标上。
• 图 c: 在一个包含技术重复的独立数据集中，AltumAge 预测的重复间差异的中位数和最大值都小于 ElasticNet。

AltumAge 对随机噪声更具鲁棒性和可靠性，这得益于其训练过程中使用的高斯噪声和对抗性正则化。

3.4 模型可解释性分析

作者使用 SHAP 分析了模型学习到的 CpG-CpG 相互作用。

• 图 a, b: 关系是完全线性的。
• 图 c, d: 关系是双价线性的，即一个 CpG 位点与年龄的关系的斜率，会根据另一个高度相互作用的 CpG 位点的甲基化状态（高或低）而改变。
• 图 e, f: 关系是非线性的。

AltumAge 能够捕捉到 CpG 位点之间复杂的非线性相互作用，而这些相互作用是传统的线性模型（如 ElasticNet）无法捕获的。

3.5 潜在的生物学应用

作者在多个包含正常和疾病样本的数据集上，比较了 AltumAge 和 Horvath 模型预测的年龄加速 (age acceleration)。

• 图 a: AltumAge 在11种疾病或病理状态（如自闭症 (autism), HIV, 多发性硬化症 (multiple sclerosis), 2型糖尿病 (type 2 diabetes) 等）中，显著地预测出了比对照组更高的年龄加速。
• 图 b: 相比之下，Horvath 的模型只在8种状态中发现了显著的年龄加速。

癌症与年龄加速:

• 图 a: Horvath 的模型无法在总体上区分正常组织和肿瘤组织。
• 图 b: AltumAge 则在几乎所有测试的组织类型中，都预测出肿瘤样本具有更高的年龄加速。

体外实验与年龄加速:

• 图 a-c: AltumAge 能够准确地捕捉到与体外衰老相关的生物学变化，如细胞传代次数的增加、线粒体功能障碍、NLRP7 基因敲低等，都会导致预测年龄的增加。
• 图 d: 在细胞重编程的时间序列研究中，AltumAge 能够准确地捕捉到预测年龄稳步下降的“年轻化”过程，并且没有出现 Horvath 模型在初期预测年龄反而上升的伪影。
• 图 e: 有趣的是，对于一个短暂的重编程干预，AltumAge 并未像 Horvath 模型那样检测到“年轻化”。作者推测，这可能是因为 AltumAge 考虑了更全局的甲基化景观，因此对这种可能只是暂时的、非全局性的变化不那么敏感。

综上所述，AltumAge 作为一个基于深度学习的泛组织表观遗传时钟，不仅在预测性能和鲁棒性上超越了传统的线性模型，还通过可解释性分析提供了新的生物学洞见，并在多种衰老相关的应用场景中展现了巨大的潜力。