导语


本周日的「自由能原理与强化学习」读书会将由公众号 CreateAMind 主编、骥智智能科技算法工程师张德祥分享，从自由能原理的表征理论开始介绍，到自由能原理与强化学习的比较，自由能原理在具身机器人上的前沿进展，最后介绍自由能原理的软件实现框架及简单的模拟效果展示。





内容简介




在一种非常简单的生物——秀丽隐杆线虫的神经系统中，可以观察到一个面向行动的生成模型的例子。多项研究表明，秀丽隐杆线虫的脑活动的重要部分包含运动行为序列，包括向前和向后运动，以及腹侧转动，这支撑了动物的动作选择。降维分析表明，这些行为序列被安排成稳定的循环，这些循环分叉的点可能对应于不同行为序列之间的决策。例如，决策点可以包括在执行腹部转弯后在向前运动和向后运动之间进行选择。这些发现表明，秀丽隐杆线虫大脑活动的很大一部分是为了促进连续地与外部环境互动，没有明确编码外部世界的状态。这种生成模型被证明足以让秀丽隐杆线虫在不构建其内部表示的情况下导航其周围环境。类似地，这个模型可能会利用反馈感觉在分叉点做出适应性运动决策，例如，如果前面检测到物体，则增加腹部转弯后反向运动的可能性，或者如果从后面检测到物体，则减少反向运动的可能性。这种机制在概念上类似于在老鼠的主动搅拌胡须模型中观察到的在意外的触感之后（或者在缺少预期触感之后增加）晶须振幅的调整。从这里可以看到，自由能对于生物的表征及行动都有着完善的理论框架。

本次读书会将从自由能原理完善的表征理论开始介绍，到自由能原理与强化学习的比较，不同智能的行动层次分类，之后介绍自由能原理在具身机器人上的前沿进展，最后介绍自由能原理的软件实现框架及简单的模拟效果展示。




内容大纲




  • 自由能原理的语义表征理论

  • 自由能原理与人工智能（自由能原理从理论到数学机制到模型、算法、实验、效果、应用等

    • 与强化学习的比较

    • 具身机器人实现理论简介

  • 自由能原理与生物体发育

  • 自由能原理与心理、艺术、心流

  • 自由能原理的实现：Rxinfer 框架介绍





关键词




  • 自由能原理 Free Energy Principle (FEP)
  • 主动推理 Active Inference (AIF)
  • 期望自由能 Expected Free Energy (EFE)
  • 变分自由能 (variational) Free Energy (FE)
  • 约束贝特自由能 Constrained Bethe Free Energy (CBFE)
  • 自由能最小化 Free Energy Minimization (FEM)
  • 消息传递 Message Passing (MP)
  • 信息几何 Information geometries
  • 部分可观测马尔可夫决策过程 POMDPs




直播信息




时间：2024年3月24日（本周日）上午10:00-12:00
参与方式：

斑图地址：https://pattern.swarma.org/study_group_issue/623


扫码参与自由能原理与强化学习读书会，加入群聊，获取系列读书会回看权限，加入集智社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。

报名成为主讲人：
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：
自由能原理与强化学习读书会启动：探索感知和行动的统一原理




主讲人简介




张德祥，骥智智能科技算法工程师，公众号 CreateAMind 主编。研究方向：自由能原理，主动推理，AGI。





参考文献




  • Da Costa, Lancelot, et al. Reward maximization through discrete active inference. Neural Computation 35.5 (2023): 807-852.

  • Friston, Karl J., et al. Active Inference and Intentional Behaviour. arXiv preprint arXiv:2312.07547 (2023).

  • Friston, Karl J., Thomas Parr, and Bert de Vries. The graphical brain: belief propagation and active inference. Network neuroscience 1.4 (2017): 381-414.

  • Priorelli, Matteo, and Ivilin Peev Stoianov. Flexible intentions: An active inference theory. Frontiers in Computational Neuroscience 17 (2023): 1128694.

  • Ramstead, Maxwell JD, Karl J. Friston, and Inês Hipólito. Is the free-energy principle a formal theory of semantics? From variational density dynamics to neural and phenotypic representations. Entropy 22.8 (2020): 889.

  • Priorelli, Matteo, and Ivilin Peev Stoianov. Dynamic inference by model reduction. bioRxiv (2023): 2023-09.

  • Friston, Karl J., et al. Supervised structure learning. arXiv preprint arXiv:2311.10300 (2023).

  • Donnarumma, Francesco, et al. Action perception as hypothesis testing. Cortex 89 (2017): 45-60.

  • Friston, Karl J., et al. Federated inference and belief sharing. Neuroscience & Biobehavioral Reviews (2023): 105500.

  • Friston, Karl, et al. Knowing one’s place: a free-energy approach to pattern regulation. Journal of the Royal Society Interface 12.105 (2015): 20141383.

  • Ramstead, Maxwell JD, et al. Neural and phenotypic representation under the free-energy principle. Neuroscience & Biobehavioral Reviews 120 (2021): 109-122.

  • Priorelli, Matteo, and Ivilin Peev Stoianov. Dynamic planning in hierarchical active inference. arXiv preprint arXiv:2402.11658 (2024).



自由能原理与强化学习读书会招募中


由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”，它试图从物理、生物和心智的角度提供智能体感知和行动的统一性规律，从第一性原理出发解释智能体更新认知、探索和改变世界的机制，从而对人工智能，特别是强化学习世界模型、通用人工智能研究具有重要启发意义。

集智俱乐部联合北京师范大学系统科学学院博士生牟牧云，南京航空航天大学副教授何真，以及骥智智能科技算法工程师、公众号 CreateAMind 主编张德祥，共同发起「自由能原理与强化学习读书会」，希望从自由能原理这个更底层的视角重新审视强化学习世界模型，探讨自由能原理、强化学习世界模型，以及脑与意识问题中的预测加工理论等前沿交叉问题，探索这些不同领域背后蕴含的感知和行动的统一原理。读书会从3月10日开始，每周日上午10:00-12:00，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！


详情请见：自由能原理与强化学习读书会启动：探索感知和行动的统一原理


点击“阅读原文”，报名读书会