导语


为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起 AGI 通用人工智能读书会。读书会从2023年9月21日开始，每周四晚上 19:00-21:00进行，预计持续7-10周。


本次读书会是系列读书会的第六期，将由来自麻省理工学院的沈马成博士对于感知与具身智能进行分享。






分享内容简介




本期内容主要涉及基于基础模型(foundation model)这一近年来新出现的范式实现的具身智能的相关工作(Google Deepmind的RT-X)[1]进行介绍和分析，重点讨论其实现泛化的原理，以及目前的范式距离实现通用具身智能(embodied AGI)所面临的挑战。近一步地，本期将分析目前的深度学习范式在学习具身智能任务上遇到的一个根本性问题：任务指定问题(the task-specification problem)[4]，即如何告诉具身智能体我们想让其完成的任务，并据此引出另一个与之密切相关的根本性问题：如何确保AI系统学习到与人类相类似的对世界的理解和抽象[6](这也与解决AI对齐问题密切相关)，且这样的学习应该是完全自动的，而不像目前的深度学习范式需要昂贵的人类智能来做辅助(采集数据集，调整数据分布，设计奖励函数等)[3, 11]。最后，我们将从深度学习的基本框架(模型架构，学习法则，目标函数，数据和环境)出发，结合(算法)信息论，可计算性，控制论，神经科学和认知科学等理论，探讨基于现有框架的可能改进方向，以实现可规模化的具有可持续自动学习能力的通用具身智能体。





分享内容大纲




  • 基于基础模型的具身智能最新进展，其优点和局限性

  • 基于模型的强化学习的最新进展及其面临的挑战

  • 目前的深度学习框架在指定任务时碰到的困难

  • 具身通用人工智能的认知架构：

  • 从自然模态中学习自然抽象以及对外部世界结构化的认知(世界模型)[7]

  • 利用世界模型实现长期规划以及感知-认知-行为的闭环

  • 通往具身通用人工智能所要解决的技术问题：

  • 如何学习世界模型

  • 如何构建克服目前深度学习局限性的通用持续学习和适应的能力





主要涉及核心概念




语言模型的组合泛化能力(Compositional generalization)
世界模型[7]
reward-hacking and specification game[5]
自然抽象(natural abstraction)[6]
感知-认知-行为的闭环(perception-cognition-action loop closure)
Temporal credit assignment[11]
Open-endedness[20]




主讲人




沈马成，从麻省理工学院机械系取得博士学位，师从美国工程院院士Jonathan How，博士期间研究方向为多智能体强化学习和机器人。

目前的研究兴趣包括通用具身智能，开放式学习系统（open-ended learning），以及强人工智能可能导致的生存性风险等，并对从神经科学、信息论和复杂动力系统等角度探索智能现象背后的基本原理很感兴趣。





主要涉及到的参考文献




[1] Padalkar, Abhishek, et al. “Open X-Embodiment: Robotic learning datasets and RT-X models.” arXiv preprint arXiv:2310.08864 (2023).
[2] Wu, Philipp, et al. “Daydreamer: World models for physical robot learning.” Conference on Robot Learning. PMLR, 2023.
[3] LeCun, Yann. “A path towards autonomous machine intelligence version 0.9. 2, 2022-06-27.” Open Review 62 (2022).
[4] MIT EI Seminar – Pulkit Agrawal – The Task Specification Problem: https://www.youtube.com/watch?v=2el3GdwS1mg&t=1364s&ab_channel=MITEmbodiedIntelligence
[5] Krakovna, Victoria, et al. “Specification gaming: the flip side of AI ingenuity.” DeepMind Blog 3 (2020).
[6] Lawrence C., Leon Lang, Erik Jenner, Natural Abstractions: Key claims, Theorems, and Critiques
[7] Ha, David, and Jürgen Schmidhuber. “World models.” arXiv preprint arXiv:1803.10122 (2018).
[8] Salvatori, Tommaso, et al. “Learning on arbitrary graph topologies via predictive coding.” Advances in neural information processing systems 35 (2022): 38232-38244.
[9] Millidge, Beren, et al. “Predictive coding: towards a future of deep learning beyond backpropagation?.” arXiv preprint arXiv:2202.09467 (2022).
[10] Kirsch, Louis, et al. “General-purpose in-context learning by meta-learning transformers.” arXiv preprint arXiv:2212.04458 (2022).
[11] Zador, Anthony, et al. “Catalyzing next-generation artificial intelligence through neuroai.” Nature communications 14.1 (2023): 1597.
[12] Kirsch, Louis, and Jürgen Schmidhuber. “Meta learning backpropagation and improving it.” Advances in Neural Information Processing Systems 34 (2021): 14122-14134.
[13] Najarro, Elias, and Sebastian Risi. “Meta-learning through hebbian plasticity in random networks.” Advances in Neural Information Processing Systems 33 (2020): 20719-20731.
[14] Legg, Shane, and Marcus Hutter. “Universal intelligence: A definition of machine intelligence.” Minds and machines 17 (2007): 391-444.
[15] Yoshua Bengio. “Generative Flow Networks”, 2022-3-5, https://yoshuabengio.org/2022/03/05/generative-flow-networks/
[16] Ilya Sutskever. “An Observation on Generalization”. 2023-08-14. https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023-08-14
[17] Fields, Chris, et al. “A free energy principle for generic quantum systems.” Progress in Biophysics and Molecular Biology 173 (2022): 36-59.
[18] Fields, Chris, and Michael Levin. “Competency in navigating arbitrary spaces as an invariant for analyzing cognition in diverse embodiments.” Entropy 24.6 (2022): 819.
[19] Herrmann, Vincent, Louis Kirsch, and Jürgen Schmidhuber. “Learning One Abstract Bit at a Time Through Self-Invented Experiments Encoded as Neural Networks.” arXiv preprint arXiv:2212.14374 (2022).

[20] Stanley, Kenneth O., and Joel Lehman. Why greatness cannot be planned: The myth of the objective. Springer, 2015.






直播信息




直播时间：

2023年11月2日（本周四）19:00-21:00

参与方式：扫码参与AGI通用人工智能读书会，加入群聊，获取系列读书会回看权限，与社区的一线科研工作者与企业实践者沟通交流，共同推动AGI通用人工智能社区的发展。


AGI读书会启动


为了深入探讨 AGI 相关话题，集智俱乐部联合集萃深度感知技术研究所所长岳玉涛、麻省理工学院博士沈马成、天普大学博士生徐博文，共同发起 AGI 读书会，涵盖主题包括：智能的定义与度量、智能的原理、大语言模型与信息世界的智能、感知与具身智能、多视角下的人工智能、对齐技术与AGI安全性、AGI时代的未来社会。读书会从2023年9月21日开始，每周四晚上 19:00-21:00，预计持续7-10周。欢迎感兴趣的朋友报名参与！



详情请见：

AGI 读书会启动：迈向通用人工智能的跨学科路径



点击“阅读原文”，报名读书会