Nature 速递：预训练深度学习模型进行网络生物学预测

关键词：迁移学习，深度学习，预训练，网络生物学，转录组学，网络动力学

论文题目：Transfer learning enables predictions in

论文来源：Nature

论文链接：https://www.nature.com/articles/s41586-023-06139-9

绘制基因网络需要大量的转录组数据来学习基因之间的联系，这阻碍了数据有限场景中的科学发现，包括罕见疾病和影响临床无法到达的组织的疾病。最近，迁移学习利用深度学习模型，在自然语言理解和计算机视觉等领域引发了革命，这些深度学习模型首先在大规模通用数据集上预训练，然后通过有限的特定任务数据对大量下游任务进行微调。

这项最新发表于 Nature 的研究，开发了一种上下文感知的、基于注意力的深度学习模型 Geneformer。该模型在大约 3000 万个单细胞转录组的大规模语料库中进行了预训练，以便在网络生物学的有限数据环境下进行上下文特定的预测。在预训练期间，Geneformer 获得了对网络动力学的基本理解，以完全自监督的方式在模型的注意力权重中编码网络层次。在使用有限的特定任务数据对与染色质和网络动力学有关的各种下游任务进行微调后，表明 Geneformer 始终提高预测的准确性。

Geneformer 应用于具有有限患者数据的疾病建模，确定了心肌病的候选治疗目标。总的来说，Geneformer 代表了一种预训练的深度学习模型，可以对其进行微调以实现广泛的下游应用，加速发现关键的网络调节器和候选治疗目标。