Nat. Commun. 速递：抽象表征从训练执行多任务的神经网络中自然涌现

关键词：抽象表征，学习模型，机器学习，涌现，大脑神经系统

论文题目：Abstract representations emerge naturally in neural networks trained to perform multiple tasks

论文来源：Nature Communications

论文链接：https://www.nature.com/articles/s41467-023-36583-0

人类和其他动物在自然行为中表现出一种非凡的能力，即在面对不同的环境和对象时归纳知识。这种概括能力来自于一种特定的表征几何，称之为抽象（abstract），在机器学习中被称为解耦（disentangled）。在最近的神经生理学研究中已经观察到了这些抽象的表征。然而，它们是如何出现的尚不清楚。

感觉和认知变量的神经表征往往是非线性地混合在一起。因此，这些表征具有高嵌入维度。抽象表征在机器学习中通常被称为可解释刺激特征的因子化或解耦表征。深度学习主要以无监督生成模型的形式来产生抽象表征。

最新发表于 Nature Communications 的这篇文章关注的是，如何从早期感知区观察到的非线性和高维表征中，构建类似于在高级脑区观察到的那些抽象表征。为了研究这个问题，首先将这些高维和非线性表征反映在连续潜变量的学习模型中；然后，使用前馈神经网络，通过监督和强化学习，这项研究证明了多个任务的学习会导致抽象表征的涌现。

研究表明，这些抽象表征能够在新的任务上实现少数样本的学习和可靠的泛化。虽然研究结果集中在人工神经网络上，但作者认为生物神经系统中的抽象表征可以通过相同的机制产生，因为行为生物通常需要以与这项研究建模的相同方式进行多任务处理。

总之，这项工作表明，大脑中的抽象表征会从学习中自然地涌现，以对相同的刺激进行多种分类。这种洞察力有助于解释先前在使用多个情境的任务中对抽象表征的观察，以及预测抽象表征应该更普遍地出现的条件。

图1. 抽象的度量和输入表征。（a）两个分类任务的例子。（左）在一种形状的红色和蓝色浆果之间学习的分类可以泛化到其他形状。（右）两个不同形状的红色浆果之间的分类可以推广到不同形状的蓝色浆果。（b）四个浆果例子的线性、抽象（左）和非线性、非抽象（右）表示的例子。（c）输入模型的示意图。（d）多任务模型的示意图。（e）两个抽象指标，分类器泛化指标（左）和回归泛化指标（右）的示意图。