关键词：持续学习，脑启发AI，灾难性遗忘，终身学习
论文题目：Incorporating neuro-inspired adaptability for continual learning in artificial intelligence
期刊来源：Nature Machine Intelligence
斑图地址：https://pattern.swarma.org/paper/ba38b85a-84d5-11ee-8dba-0242ac17000e
https://www.nature.com/articles/s42256-023-00747-w
由于外部环境处在持续的变化中，智能体需要在整个生命周期保持可塑性以适应环境。当环境改变时，生物体不是将旧的记忆完全删除，而是将其清扫以留出空间，用以学习新的任务。借鉴这种进化赋予的持续学习能力，是脑启发AI领域的热点问题。近日清华大学的研究者在Nature Machine Intelligence上的论文，提出了基于果蝇的主动遗忘架构，可解决灾难性遗忘的问题。
在生物体中，主动遗忘指的是通过删除过时信息来灵活地适应外部变化。主动遗忘不意味着在面对新环境时，完全删除所有旧环境相关的记忆，而是选择性地删除与新环境不符合的部分。通过主动遗忘，生物体可在记忆的可塑性和稳定性之间进行权衡。当前神经网络当学习新任务时，会导致旧任务的性能显著下降，这被称为“灾难性遗忘”，已有多种方法试图解决该问题，如之前的推文（Nat. Commun.速递：通过类睡眠回放克服神经网络的灾难性遗忘；纤维丛理论解决神经网络的“灾难性遗忘”问题）模仿果蝇（Drosophila）负责嗅觉的（Kenyon cell）KC神经元及磨菇体（mushroom body）（图1a），开发具有多个学习器的脑启发AI模型（图1b），该框架将主动遗忘与稳定性保护结合起来，以便更好地权衡新旧信息，并相应地协调多个持续学习者，确保解决方案具有持续学习的能力。
对于单个学习器，从贝叶斯的视角，对神经网络中的每个连接权重，将在旧任务上的学习结果视为先验，在面对新任务更新时，根据稳定保护与主动遗忘项进行权重更新。其中主动遗忘通过两种等效的方式（突触扩展-正则化）进行优化。
模仿生物体的架构，设计了多个平行的学习器共同处理增量数据，后根据学习到的规则进行整合的多重架构（图3）。
在有监督学习（图像分类）及强化学习（Atari游戏）中，相比之前的方法，增加了主动遗忘的架构在分类任务/不同游戏的数目增加后，其表现均优于之前的方法，证明新架构具有持续学习能力。
无论生物体还是智能机器人，都需要持续的改变自身以适应环境。该研究提出的自适应机制，因其鲁棒性和泛化能力，具有广泛的应用范围，可用于自动驾驶、机器人控制等众多领域。通过借鉴生物大脑的机制，但又不是机械性的照搬（例如该研究将嗅觉对应的细胞应用于视觉任务），该研究指出未来可进一步借鉴生物大脑的其它机制以应对当前AI界面对的挑战。
