导语


涌现和因果是理解复杂系统的两个基本概念，因果涌现理论旨在连接这两个概念，使用因果性度量来量化涌现。近日，集智科学研究中心、北京师范大学与清华大学的研究者合作，在 Entropy「因果与复杂系统特刊」发表综述文章，全面回顾了因果涌现的定量理论和应用的最新进展。该综述解决了两个关键问题：量化因果涌现和在数据中识别涌现。本文表明，用于识别因果涌现的架构与因果表征学习以及因果模型抽象具有相通之处。

本周五晚的「因果涌现读书会」将由论文作者，北京师范大学系统科学学院教授、集智俱乐部创始人张江，和集智科学研究中心技术与产品顾问袁冰两位老师介绍这篇最新综述。读书会将于4月26日晚20:00-22:00进行，欢迎感兴趣的朋友参与讨论交流！






内容简介




“因果”（Causality）和“涌现”（Emergence）是理解复杂系统的两个基础概念。首先，“涌现”通常是一个跨尺度概念，描述了一些宏观性质无法用微观性质来解释的现象，这些现象颠覆了认为宏观性质都可以用更微观尺度的性质解释的还原论视角；其次，理解复杂系统的关键是理解复杂系统的动力学，动力学是系统如何随时间发生变化的规律，是由系统内部和外部的因果性驱动的。我们在不同的尺度或抽象层次上研究一个系统的因果性，可以发现宏观层次上的因果性可以比微观层次上更强，我们把这种现象叫做“因果涌现”。

因果涌现无处不在，很多熟视无睹的现象都可以归为因果涌现，比如，人们根据经验总结出二十四节气的季节性气候变化，却很难预测每日的天气；相比于一家公司的经营情况，一个国家的宏观经济走势更容易预测。每当我们陷入“只见树叶，不见森林”的困境时，在更高的尺度上重新观察事物，往往更容易获得对事物的清晰认识，这种常见的做法，就是对因果涌现的自发应用。

然而，如何将这些自发应用变成自觉运用？这涉及到科学理解因果涌现的两个挑战：

  • 如何定量度量涌现？

  • 如何从数据中识别涌现的行为或现象？

关于因果涌现的度量，我们梳理了这一领域的重要文献，发现对这一问题的回答主要是围绕信息论方法展开的。最早的研究可以追溯到上世纪80年代，当时的计算力学理论提出了“因果态”和 ε-machine 的概念，和后来才提出的粗粒化策略以及宏观动力学遥相呼应（参看《计算力学：量化涌现的又一条路径》）。过去十年间，因果涌现发展出两条理论路径，一条是基于有效信息（Effective Information）度量的因果涌现理论 [Hoel，文献2]，另一条是基于信息分解（Information Decomposition）的 ΦID 理论[Rosas，文献3]。不过对于解决现实问题，这两个理论都存在一些局限。Hoel 的理论需要预先知道系统的微观动力学，以及粗粒化策略，这两者在现实问题中通常都不可知；而Rosas的理论则不需要预先知道微观动力学和粗粒化策略，但将其用于多变量系统则会遇到计算组合指数增长的问题，限制了其应用范围。

张江老师课题组致力于解决如何从数据中识别因果涌现的问题，提出了基于系统测量数据的的有效信息计算和因果涌现识别方法 [NIS，NIS+，文献4-5]。该方法框架如上图所示。它利用神经网络对数据的拟合能力，以数据预测误差最小化以及有效信息最大化作为训练目标，训练一个神经网络模型，该神经网络模型被设计为可对输入信息进行压缩的形式，即所谓“信息瓶颈”，使得模型在学习微观动力学的同时，能够学到最优的粗粒化策略，并得到有效信息最大化的宏观动力学。NIS及NIS+的工作在将因果理论应用到实际问题上提供了一个解决方案，但这一方案仍然并非完美，目前仍然有适用问题的变量维数比较受限，以及对不同的问题场景需要不同的模型实现等问题，仍然有很大的改进空间。


此外，NIS+框架也可以为表征学习提供新的思路，NIS+的“信息瓶颈”用更少的维度表征了输入数据。由于NIS+可以学习最佳粗粒化策略，所谓“最佳”即让宏观动力学的有效信息最大化。可以证明，宏观动力学有效信息的最大化，等价于在模型训练过程中对训练的损失函数做相对于宏观变量概率分布的逆概率加权。这和因果表征学习的一般方法相得益彰。


最后，关于因果和涌现的本体论和认识论属性的讨论也是一个非常有趣的话题，我们也会对这一话题做一些探讨。





内容大纲



 

  • 因果涌现概念和发展脉络

  • 机器学习识别因果涌现

  • 因果涌现和表征学习

  • 因果涌现的哲学讨论





核心概念



  

  • 复杂系统 Complex Systems

  • 计算力学 Computational Mechanism

  • 因果涌现 Causal Emergence

  • 信息瓶颈 Information Bottleneck

  • 有效信息 Effective Information

  • 信息分解 Information Decomposition

  • 机器学习 Machine Learning





主讲人




张江，北京师范大学系统科学学院教授，集智俱乐部、集智学园、集智科学研究中心创始人，曾任腾讯研究院、华为战略研究院等特聘顾问。主要研究领域包括复杂系统分析与建模、规模理论等。

袁冰，集智科学研究中心技术与产品顾问。毕业于华中科技大学，研究兴趣包括因果推断、复杂科学，以及人工智能相关领域。




参与方式




直播时间：2024年4月26日（本周五）晚20:00-22:00


报名参与读书会：
斑图链接：https://pattern.swarma.org/study_group_issue/645

扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。


报名成为主讲人：

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：荟萃复杂系统前沿进展，集结因果涌现学术社区：因果涌现读书会第五季启动





参考文献




[1] Yuan, Bing, et al. Emergence and causality in complex systems: A survey of causal emergence and related quantitative studies. Entropy 26.2 (2024):108.  https://www.mdpi.com/1099-4300/26/2/108
[2] Hoel, E.P.; Albantakis, L.; Tononi, G. Quantifying causal emergence shows that macro can beat micro. Proc. Natl. Acad. Sci. USA 2013, 110, 19790–19795.
[3] Rosas, F.E.; Mediano, P.A.; Jensen, H.J.; Seth, A.K.; Barrett, A.B.; Carhart-Harris, R.L.; Bor, D. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS Comput. Biol. 2020, 16, e1008289.
[4] Zhang, J.; Liu, K. Neural information squeezer for causal emergence.  Entropy 2022, 25, 26.
[5] Yang, M.; Wang, Z.; Liu, K.; Rong, Y.; Yuan, B.; Zhang, J. Finding emergence in data: Causal emergence inspired dynamics learning. arXiv 2023, arXiv:2308.09952.




推荐学习资料



  


因果涌现读书会第五季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。由北京师范大学系统科学学院教授、集智俱乐部创始人张江领衔发起的集智俱乐部「因果涌现」读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，希望对复杂系统的涌现现象有更深刻的理解。读书会从2024年4月19日开始，每周五晚20:00-22:00进行，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！



详情请见：
荟萃复杂系统前沿进展，集结因果涌现学术社区：因果涌现读书会第五季启动



点击“阅读原文”，报名读书会