关键词:持续学习,脑启发AI,灾难性遗忘,终身学习




论文题目:Incorporating neuro-inspired adaptability for continual learning in artificial intelligence
期刊来源:Nature Machine Intelligence
斑图地址:https://pattern.swarma.org/paper/ba38b85a-84d5-11ee-8dba-0242ac17000e
论文地址:
https://www.nature.com/articles/s42256-023-00747-w

由于外部环境处在持续的变化中,智能体需要在整个生命周期保持可塑性以适应环境。当环境改变时,生物体不是将旧的记忆完全删除,而是将其清扫以留出空间,用以学习新的任务。借鉴这种进化赋予的持续学习能力,是脑启发AI领域的热点问题。近日清华大学的研究者在Nature Machine Intelligence上的论文,提出了基于果蝇的主动遗忘架构,可解决灾难性遗忘的问题。

在生物体中,主动遗忘指的是通过删除过时信息来灵活地适应外部变化。主动遗忘不意味着在面对新环境时,完全删除所有旧环境相关的记忆,而是选择性地删除与新环境不符合的部分。通过主动遗忘,生物体可在记忆的可塑性和稳定性之间进行权衡。当前神经网络当学习新任务时,会导致旧任务的性能显著下降,这被称为“灾难性遗忘”,已有多种方法试图解决该问题,如之前的推文Nat. Commun.速递:通过类睡眠回放克服神经网络的灾难性遗忘纤维丛理论解决神经网络的“灾难性遗忘”问题模仿果蝇(Drosophila)负责嗅觉的(Kenyon cell)KC神经元及磨菇体(mushroom body)(图1a),开发具有多个学习器的脑启发AI模型(图1b),该框架将主动遗忘与稳定性保护结合起来,以便更好地权衡新旧信息,并相应地协调多个持续学习者,确保解决方案具有持续学习的能力。

图1:基于生物体的持续学习架构示意图

对于单个学习器,从贝叶斯的视角,对神经网络中的每个连接权重,将在旧任务上的学习结果视为先验,在面对新任务更新时,根据稳定保护与主动遗忘项进行权重更新。其中主动遗忘通过两种等效的方式(突触扩展-正则化)进行优化。

图2:单个学习器的权重更新架构

模仿生物体的架构,设计了多个平行的学习器共同处理增量数据,后根据学习到的规则进行整合的多重架构(图3)

图3:自适应多学习器的模型架构

在有监督学习(图像分类)及强化学习(Atari游戏)中,相比之前的方法,增加了主动遗忘的架构在分类任务/不同游戏的数目增加后,其表现均优于之前的方法,证明新架构具有持续学习能力。

图4:多任务有监督学习(图像分类)性能对比


图5:多任务强化学习性能对比

无论生物体还是智能机器人,都需要持续的改变自身以适应环境。该研究提出的自适应机制,因其鲁棒性和泛化能力,具有广泛的应用范围,可用于自动驾驶、机器人控制等众多领域。通过借鉴生物大脑的机制,但又不是机械性的照搬(例如该研究将嗅觉对应的细胞应用于视觉任务),该研究指出未来可进一步借鉴生物大脑的其它机制以应对当前AI界面对的挑战。



编译|郭瑞东

NeuroAI读书会



详情请见:

NeuroAI 读书会启动:探索神经科学与人工智能的前沿交叉领域



推荐阅读

1. 一作解读:深度学习中的Neural Scaling Law (神经标度律)和对AI+Science的启发
2. NeuroAI作者,冷泉港主任独家专访:忽视神经科学给我们的启示是愚蠢的
3. 基于人脑连接组的人工神经网络,会是更好的AI吗?
4. 张江:第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5成为集智VIP,解锁全站课程/读书会
6. 加入集智,一起复杂!


点击“阅读原文”,报名读书会