关键词：类脑计算，储备池计算，生物神经网络，涌现动力学，混沌动力系统
![]()
龚铭康 | 编译
论文题目：Evolving reservoir computers reveals bidirectional coupling between predictive power and emergent dynamics
论文地址：https://arxiv.org/pdf/2406.19201v1
神经网络具有高度复杂的计算能力，能够预测环境变化，这远远超出了单个神经元的预测能力。传统的研究方法往往集中在分析单个神经元的贡献，但这种方法忽略了整个系统的涌现动力学（emergent dynamics）——即整体系统比其部分的简单组合更为复杂的特性。近日有研究通过使用储备池计算机（Reservoir Computing, RC）这一生物启发的计算框架，探讨了预测性能与涌现之间的双向耦合关系。
储备池计算模型
该研究首先使用了储备池计算机（RC）模型来模拟生物神经网络中的环境预测。图1展示了储备池计算机的工作原理。RC的核心处理单元是一个固定的循环神经网络（RNN），称为储备池。输入数据经过线性输入层后被投射到高维非线性空间中，从而促进了线性可分离性。接下来，储备池状态通过线性读出层映射到预期的输出。RC的训练过程主要涉及优化读出层的权重，从而实现快速高效的训练。
涌现的定量测度——因果涌现理论
为了深入理解涌现的作用，该研究借助基于部分信息分解（PID）的因果涌现理论，提出涌现现象必须编码系统未来的协同信息。通过研究涌现的因果框架，该研究对预测环境变化的复杂计算进行了建模，并探讨了涌现与预测性能之间的关系。这种方法通过揭示宏观尺度上协同信息的存在，为传统还原主义方法难以解释的神经网络中的复杂计算提供了新的视角。
实验设计
为了验证涌现在预测环境动态中的作用，该研究通过优化生物启发的RC来预测各种混沌动力系统的轨迹，这些系统代表了RC的环境。任务环境包括著名的Lorenz吸引子和五个Sprott混沌流系统。RC的储备池连接由100个大脑皮层区域之间的解剖连接组成，这些连接数据来源于100名健康受试者的脑连接组项目。
具体的方法主要包括三大操作：训练、评估和超参数调优（见图2）。在训练阶段，RC通过迭代地更新储备池状态来“驱动”环境时间序列输入网络，并通过Tikhonov正则化的线性回归来解决读出权重问题。评估阶段则通过比较预测损失和因果涌现强度来测量训练好的RC的预测性能。最后，超参数调优通过使用演化算法来优化RC的特定超参数。
图3. 演化优化过程中预测损失与因果涌现强度ψ呈反比关系。
预测性能与涌现强度的双向耦合关系
研究结果表明，优化超参数以降低预测损失的同时，因果涌现强度的指标ψ也随之增大（图3A）。反过来，优化因果涌现强度时，也会导致预测损失的减少（图3B）。这种双向耦合关系在所有测试的任务环境中得到了验证，且优化因果涌现强度有时会引起瞬时的损失峰值，但这种情况很快会被消除。进一步分析表明，涌现预测成功的可能性显著高于非涌现预测，表明因果涌现强度几乎成为所有测试环境中预测成功的充分条件（图4A至图4D）。
图4. 不同超参数配置和训练样本大小下的涌现强度与预测性能之间的关系。
随着训练数据集样本大小的增加，预测损失减少，涌现的概率增加，这表明使用更多数据进行训练会增强因果涌现强度的读出能力，并且这些因果涌现强度可能包含任务相关的信息（图4E和图4F）。
研究还探讨了是否在一个环境中优化因果涌现强度有助于在其他未优化环境中的表现。结果表明，尽管进一步研究是必要的，但优化因果涌现强度确实在某些情况下对未优化环境中的表现有积极作用（图5A和5B）。
图5. 在已优化和未优化环境中测试经过演化的储备池计算机的性能，演化目标是最大化预测性能P(S)和最大化因果涌现强度P(E)的不同加权组合
生物启发式与随机连接式储备池计算机的比较
研究比较了生物启发的RC与随机连接的RC之间的预测性能和因果涌现强度。结果显示，在六个任务环境中，随机连接的RC和生物启发的RC之间没有显著差异。这表明预测性能与因果涌现强度之间的关系并非特定于生物启发的RC架构，而可能代表一种更普遍的原则（图6A和6B）。
图6. 比较生物启发式和随机连接储备池计算机的预测性能和因果涌现强度
大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。
集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！
![]()
跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。从2021年夏天至今，集智俱乐部已经陆续举办了四季「因果涌现」读书会，系统梳理了因果涌现理论的发展脉络，深入探讨了信息整合与信息分解的本质，并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，对复杂系统的涌现现象有更深刻的理解。读书会从2024年4月19日开始，每周五晚20:00-22:00进行，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！
6. 加入集智，一起复杂！
