综述速递：终身学习的生物学基础

摘要

生物有机体一生中都会从与环境的相互作用中学习。为了使人工智能系统能够成功地在现实世界中运作并适应，也需要能够持续不断地学习。这一挑战被称为终身学习（lifelong learning），在很大程度上仍未解决。最近发表于 Nature Machine Intelligence 综述文章确定了一系列具有终身学习能力的人工智能系统需要实现的关键功能。作者们描述了一些生物学机制，包括神经元和非神经元层面的，这些机制有助于解释生物体如何应对终身学习的挑战。文章通过示例展示生物启发模型，并阐述了用于人工智能以促进具有终身学习机器开发的生物学上可行的机制。最后讨论了进一步了解和促进终生学习技术水平的机会，目的是减小自然与人工智能间的差距。

研究领域：类脑计算，终身学习，计算神经学，灾难性遗忘

郭瑞东 | 作者

邓一雪 | 编辑

论文题目：

Biological underpinnings for lifelong learning machines

论文链接：

https://www.nature.com/articles/s42256-022-00452-0

终身学习（Life-long learning）指智能体能够持续从与环境的互动提取信息的能力，对于生物体来说，这是习以为常的事，但对于人工智能来说，却很困难。具有终身学习能力的系统具有彻底改变许多应用程序的潜力，包括全自动驾驶汽车、智能城市和医疗保健。发掘这一潜力将需要开展多学科合作，以支持生物学、神经科学、心理学、工程和人工智能交叉领域的研究人员合作产生可落地的成果。Nature Machine Intelligence 近期的综述论文，指出了终生学习所需要达成的具体目标，以及人工智能的研究者能从生物学研究中获得哪些借鉴和启发。

1. 终身学习的六个关键特征

当我们说某项算法改进提升了模型终身学习的能力时，可以将其归为以下6类中某一类或其组合，分别是：任务迁移和适应、克服灾难性遗忘、利用任务相似性、具有任务无关的学习能力、对噪音的容忍、以及资源高效利用和可持续性。

图1. 终身学习所需的6类关键特征

任务迁移：将以前的知识应用于新任务并迅速适应任务或环境变化的能力。上图中，智能体在任务 B （包装箱中的物体）进行训练，并随后能够应用学到的技能，以促进学习类似但不同变体的任务（对象和盒子的不同大小和形状）。

克服灾难性遗忘：不会因为学习新的任务而降低之前学习的任务上的表现。

利用任务相似性：不需要学习任务的单一表示，而是能够将任务分解为学习新任务时可以应用的子任务。上图中作为任务B训练的一部分所学习的定位动作可以直接转移到任务C上，可重复使用该技能。

任务无关的学习：能解决一个问题，而不必明确地告诉智能体这个问题属于几个学习任务中的哪一个。

对噪音的容忍：智能系统在没有任何干扰的情况下被训练执行任务，随后能够在现实世界忽略不相关的事物和潜在的分散注意力的行为。

资源高效利用和可持续性：利用有限的资源，不断学习新知识的能力。

2. 启发终身学习的九种生物学机理

在这篇有众多作者撰写的综述中，更多的篇幅花在介绍神经科学的研究成果，还有这些成果目前和人工智能领域已经或者可能擦出的火花（不同生物学机理的应用在下图的文献中具体阐述）。

下图每一行是一种大脑运行机制，有数字的位置表明可以在该任务上使用类似的生物学原理启发终身学习的设计。每个数字对应一个文献。右图是在计算机视觉，环境交互、生物体模拟、机器人领域相关的评价数据集指标对应的文献。

图2. 生物启发模型的应用。

神经形成（neurogenesis），指大脑中可以新产生神经元的能力。在刺激丰富的环境中长大的动物，其大脑中的神经元的生成速度也更快。
事件记忆的回放（episodic replay），指人会在做梦时回放白天经历的事，这样的回放最初出现在海马体，之后在海马体和新皮层区域同步出现。
元可塑性（metaplasticity）指神经元间的突触强度具有双重可塑性，不仅受到周围神经元的影响，还受到自身神经元内部生化活动的影响。
神经调制（Neuromodulation）指调节性神经元释放的神经递质（如多巴胺、催产素），不仅能够影响局部的神经活动和可塑性，还能产生全局性的影响。
背景依赖的感知（Context-dependent perception and gating）：生物体能够根据背景信息选择性地投射注意力，并整合新信息，还可以激活部分神经元。面对自上而下的任务，大脑能高效地分配注意力。
层级化的分布式处理：许多生物体没有或只有极小的集中的大脑，但却有很多局部的神经处理模块。通过层级化的分布控制，使得信号处理和学习可以分布在全身的多个神经元网络中，每个神经元都有较高的网络内连接，以及相对稀疏的网络间连接。
大脑外的认知活动：不具备大脑的生物，还包括单细胞生物甚至是生物体中的分子网络，表现出从经验中学习、预测未来事件和对新的挑战做出适应的能力。诸如生物电、多尺度的稳态机制、组织内部和跨层次的合作和竞争是其生物学基础。
可重塑的有机体：生物体是高度可重构的，尽管环境和细胞特性急剧变化，它们仍然保持连贯、适应性的功能。而具有这一能力的算法，将能利用已有信息适应新的场景。
多感官输入整合：生物体本质上是一种感觉运动系统，其行为由多种类型的感觉信号决定。理解生物体如何以一种通用的与任务无关的方式处理、过滤和处理大量的感官数据，可以支持终身学习算法的开发。

除此之外，动态记忆更新机制，如主动遗忘（active forgeting）、记忆擦除（extinction）和记忆再巩固（memory reconsolidation）、基因间的信号通路和调控、细胞间通讯等发现，也可以成为终身学习的灵感来源。

3. 总结

受生物启发的模型应用于终身学习，该综述提供了一些详尽的案例，说明这些方法可以超越当前人工智能的局限性。尽管许多这些开发仍处于起步阶段，包括对各个特性在小数据集上，关于实现特定终身学习目标的性能展示。未来人工智能社区通过受生物启发的机制，可改进算法，并将其整合到标准的机器学习框架中，从而开发具有更大自主性和终身学习能力的新一代人工智能系统。

上述目标成功的关键，在于混合使用上面列出的几种机制（以及关注生物学及神经科学的进展，及时整合那些尚未发现的机制），而不是狭隘地关注某一项机制。另一个关键因素是开发现实的测试环境，这些环境专门针对终身学习能力设计，而不是让算法不局限于预先准备的数据集。通过创造新的硬件，例如神经形态芯片，通过软硬件结合，实现神经储备池计算（reservoir computing），或脉冲神经网络（spike neuron network）的加速，也是必需的步骤。

论文 Abstract

Biological organisms learn from interactions with their environment throughout their lifetime. For artificial systems to successfully act and adapt in the real world, it is desirable to similarly be able to learn on a continual basis. This challenge is known as lifelong learning, and remains to a large extent unsolved. In this Perspective article, we identify a set of key capabilities that artificial systems will need to achieve lifelong learning. We describe a number of biological mechanisms, both neuronal and non-neuronal, that help explain how organisms solve these challenges, and present examples of biologically inspired models and biologically plausible mechanisms that have been applied to artificial systems in the quest towards development of lifelong learning machines. We discuss opportunities to further our understanding and advance the state of the art in lifelong learning, aiming to bridge the gap between natural and artificial intelligence.

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

点击“阅读原文”，追踪复杂科学顶刊论文

综述速递：终身学习的生物学基础