导语


神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？


本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。


读书会线上进行，11月27日开始，每周日晚上19:00-21:00，持续时间预计10周。读书会详情及参与方式见后文。





分享内容简介



 

本次分享会将介绍一项机器人控制领域的理论如何启发神经科学的研究，“可组合强化学习”（Composable Reinforcement Learning）利用子任务策略的复合得到了新的任务策略，从而大大简化了状态空间，提高了学习效率。本次介绍会将介绍这种策略的生物意义以及生物证据。此外还将简单涉及这种思想更广泛的算法应用：分层强化学习。





分享内容大纲



‍‍

  • ‍‍论文解读

  • 论文基本思想

  • 使用旧行为的组合得到新行为可以极大提高学习效率

  • 增加行为的随机性可以帮助提高探索效率并且提高行为的可组合性

  • 算法框架

  • 可组合强化学习

  • 最大熵原理

  • 实验及实验结果

  • 总结和分层强化学习启发

  • 彩蛋‍‍

‍‍




主要涉及到的核心概念



 

Soft Q-Learning

可组合强化学习（Composable Reinforcement Learning）

最大熵原理（Max-Entropy）

分层强化学习（Hierarchical Reinforcement Learning）




主讲人介绍




王骥一，北京大学化学与分子工程学院本科生，兴趣为神经网络动力学、神经计算。





直播信息



 

时间：

2023年2月13日晚上19:00-21:00

参与方式：

扫码参与NeuroAI读书会，加入群聊，获取系列读书会回看权限，成为NeuroAI社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动NeuroAI社区的发展。





本次分享与读书会主题的关系




本次分享涉及强化学习中核心的几个问题，稀疏奖励（sparse reward）和探索-利用平衡（exploration-exploitation trade-off），通过对子任务的复用和奖励函数中加入熵项可以部分地解决这些问题并提高学习效率。此外，本文也与分层强化学习（Hierarchical Reinforcement Learning）有一定关联，后者也可以为我们解决探索效率问题有一定启发。





主要涉及到的参考文献



 

Makino, H. Arithmetic value representation for hierarchical behavior composition. Nat Neurosci 26, 140–149 (2023).

T. Haarnoja, V. Pong, A. Zhou, M. Dalal, P. Abbeel and S. Levine, “Composable Deep Reinforcement Learning for Robotic Manipulation,” 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, Australia, 2018, pp. 6244-6251
Sutton, R. S., Precup, D. & Singh, S. Between MDPs and semi-MDPs: a framework for temporal abstraction in reinforcement learning. Artif. Intell. 112, 181–211 (1999).



NeuroAI读书会招募中


神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。


详情请见：

NeuroAI 读书会启动：探索神经科学与人工智能的前沿交叉领域



点击“阅读原文”，报名读书会