关键词：类脑计算，储备池计算，生物神经网络，涌现动力学，混沌动力系统

龚铭康 | 作者



论文题目：
Evolving reservoir computers reveals bidirectional coupling between predictive power and emergent dynamics
论文地址：
https://arxiv.org/pdf/2406.19201v1

生物神经网络常被视为由个体预测能力有限的神经元组成的集合。传统的还原论方法试图通过描述每个组件及其相互作用来完全理解系统的计算过程，但在实际中，生物神经网络是部分可观察的系统，这使得全面描述变得不可行。

近期发表在arXiv上的这项研究通过类脑计算框架——储备池计算（Reservoir Computing，RC），展示了系统性能与涌现现象之间的双向耦合关系，为我们理解生物神经网络的计算提供了新视角。RC的核心是一个固定的循环神经网络（RNN），称为储备池，它接收来自输入层的线性输入，并将其投射到储备池中进行处理。研究通过训练和评估储备池计算模型，优化其超参数，以预测各种混沌动力系统的轨迹。

具体而言，研究通过训练储备池计算模型来预测洛伦兹吸引子和五个Sprott混沌流系统的轨迹。储备池的连接结构基于100个皮质脑区的解剖连接，这些数据来源于100名健康个体的实证数据。研究的主要步骤包括训练、评估和超参数调优。

研究发现，优化预测性能的超参数会增强涌现动力学，反之亦然。这表明系统的预测性能和涌现现象之间存在密切联系。在所有任务环境中，涌现动力学几乎成为预测成功的充分条件，并且在大多数环境中是必要条件。这意味着涌现动力学在预测性能中扮演着关键角色。训练数据量的增加也会增强涌现动力学，而这些涌现动力学包含了对任务相关的关键信息，有助于提升预测性能。

图1. 储备池计算的核心方法示意图

图2. 演化优化过程中损失与 ψ 呈反比关系

图3. 涌现和预测性能之间的关系受超参数配置和训练样本大小的影响

图4. 比较仿生和随机连接的储备池计算的预测性能和涌现动力学


AI By Complexity读书会


大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。


集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！



详情请见：
AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统



推荐阅读
1. 复杂系统的数据驱动建模：储备池计算教程
2. Nat. Commun.速递：深度学习在计算生物学中的应用综述
3. 生物计算：超越图灵模型的细胞计算机
4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5. 集智VIP集合啦！云南线下研修营，与集智创始人一起攀登“复杂性阶梯”

6. 加入集智，一起复杂！



点击“阅读原文”，报名读书会