2014年至今，计算神经科学家 Erik Hoel 、伦敦帝国理工学院复杂系统中心的 Fernado E. Rosas 等人相继提出并拓展了基于信息论的因果涌现理论框架，因果涌现的定义以及度量的方法给出了定量的描述，为现实中关于生态环境、气候、城市、大脑、细胞、分子等复杂系统的演化规律研究方法提供了全新的评判指标和思路方向，还有望为回答生命、意识、自由意志等哲学问题提供洞察。
为了继续拓展并完善因果涌现的相关框架，并为解决真实复杂系统演化问题搭桥，北京师范大学系统科学学院硕士研究生刘凯威等人提出了一套针对已知模型因果效应的精确度量——随机迭代系统的因果涌现，不仅为以往的研究提供了理论支撑，还对未来的针对其他物理模型以及真实复杂系统的研究铺路。在集智俱乐部「因果涌现」读书会第五季，刘凯威介绍了发表于Entropy的这项最新研究，欢迎感兴趣的朋友加入读书会观看视频回放。
研究领域：因果涌现，有效信息，线性随机迭代系统，粗粒化策略，特征值
刘凯威 | 作者
整体大于部分之和，以及一个系统存在不属于其任何基本元素的整体属性， 那么该系统存在涌现现象。如果这样的表现拓展到动态演化的系统中，系统的演化中，宏观态比微观态有更强的因果效应。事实上，只要有两个个体共同演化，就会产生个体与两个人组成的整体演化规律的差异。后一时刻的宏观态演化无法归因到前一时刻的微观态，这种现象我们称为因果涌现。
因果涌现的量化是近期新兴起的研究方向，代表的是Erik Hoel提出了因果涌现的最初定量理论[1-3]。因果效应通过有效信息（Effective Information，简称EI）指标来量化，若出现宏观有效信息大于微观有效信息，则意味着因果涌现的产生。NIS与NIS+的相关机器学习框架在数值解上实现了对最佳粗粒化策略的寻找与EI的计算[4,5]。
An Exact Theory of Causal Emergence for Linear Stochastic Iteration Systems
https://doi.org/10.3390/e26080618
我们近期在 Entropy 「因果与复杂系统」特刊上发表的最新研究——线性随机迭代系统的精确因果涌现理论，一定程度上解释了随机迭代系统产生因果涌现的原因和机理，并指明了在噪声是正态分布的情况下，系统协方差的大小以及动力学参数矩阵的特征值，对系统可否产生因果涌现有重要的影响；随后对于不同的参数矩阵与随机噪声，可以针对因果涌现的最大化，给出最优的粗粒化映射的参数矩阵。为了验证相关命题，论文中将分析的模型应用于三个简化的物理系统，将结果与数值模拟进行比较。
文章最重要的概念就是给出了线性随机迭代系统因果涌现的解析解。文章中将ΔJ定义为“因果涌现”，即
计算时要使用到线性随机迭代系统的有效信息，对于微观、宏观的线性随机迭代系统，我们可以分别计算有效信息，并得到宏微观有效信息差 ΔJ=JM-Jm 。其中，JM(AM, ∑M), Jm(A, ∑)分别表示宏观和微观的有效信息。
随机迭代系统的因果涌现可以分解为确定性ΔJ1和简并性ΔJ2两项，确定性描述系统前一时刻状态已知的情况下，后一时刻的随机性，越小的随机性代表确定性越强，越容易对系统的未来趋势进行预测。简并性描述后一时刻已知的情况下，对前一时刻的可溯因性，简并性越弱，导致系统当前状态的原因就越明确。确定性越强，简并性越弱，有效信息则会越大，因果效应越强。而微观和宏观确定性和简并性的变化分别影响了因果涌现的大小。
为了找到不依赖粗粒化策略的因果涌现，我们可以通过优化粗粒化策略得到因果涌现的最优解
其中 |λ1|≥|λ2|≥…≥|λn|≥0 是参数矩A的特征值，η是粗粒化造成的信息熵损失的下界。用因果涌现这一指标之后，我们就可以以最优化因果涌现为目标，为我们的粗粒化策略寻找最优解，以便更好更精确的完成微观到宏观的转化。
在知道因果涌现的最优解之后，文章使用推导出的定理来分析线性随机迭代系统的几种情况，尝试在具有已知动力学的系统中寻找因果涌现的最大值。三个案例是对因果涌现精确理论的支撑，也是为未来可能解决案例提供方向。
三维空间的旋转模型
为了最直观地理解粗粒化和因果涌现的含义，文章以解析几何中的螺旋旋转模型为例，在三维空间中可视化模型系统，并分析因果涌现在三维空间是如何反映的。通过实验结果可以发现，其实因果涌现的主要原因就是在空间中，系统的演化虽然处于三维空间中，但是只依托于一条一维的直线或者一个二维平面，就可以近似出系统的演化规律。
通过实验结果可以发现，其实因果涌现的主要原因就是在空间中，系统的演化虽然处于三维空间中，但是只依托于一条一维的直线或者一个二维平面，就可以近似出系统的演化规律。如果粒子在三维空间中，围绕一条直线进行运动，并且收敛于该直线，那么直线方向的演化可以视为梯度流，而与直线垂直的平面上的演化可以视为螺线管流，简言之，就是直线上可以更清晰的观测到系统的演化方向。因此会在压缩到一维时产生较大的因果涌现。
如果系统是收敛到一个平面，那么该平面能反映系统的演化方向，这时压缩到二维，会产生最大的因果涌现。由于旋转矩阵会出现复数特征根，我们根据特征根的模长计算因果涌现，之所以不压缩到一维，是因为前两个特征值是共轭复数，模长相等，压缩到一维不会增强因果涌现，反而会使误差变得更大。
旋转模型为因果涌现的意义提供了最直观且可视化的理解方式，也为拓展到高维空间的变量与数据提供了入门的基础。
旋转模型相关实验，围绕一条直线进行运动，并且收敛于该直线时，1维的宏观态是最优解；若是收敛到一个平面，那么压缩到二维，会产生最大的因果涌现。
随机游走
随机游走，分析侧重于噪声εt和协方差矩阵∑，它们主要影响确定性的出现。随机游走模型是一种数学模型，用于描述物体在特定空间中的随机运动，其中，步行者在一系列位置之间移动，每次移动的方向和距离都是随机的。在粗粒化参数矩阵W的奇异值均为1的条件下，k越小，系统的确定性越强，因果涌现的程度会越强。
热量耗散
随机游走侧重于确定性和噪声，而耗散模型则侧重于非简并性和参数矩阵A。热量耗散模型描述了系统不同节点之间相互传递热量的同时，向外界环境耗散热量的演化模型。降维后k越小，系统的简并性越弱，最优的因果涌现的程度会越强。
如果是要把模型写成更一般的形式，随机迭代系统就是描述随机变量xt随时间t的演化规律的模型，该模型除了具有特定的演化规律之外，还具有随机性，如股票价格、温度变化、交通流量、分子运动等都可以用该模型建模。线性随机迭代系统形如
其中
，重要特征则是噪声趋于0时，两个时刻间的迭代函数是线性函数。随机迭代系统的因果涌现不仅可以给出线性随机迭代系统的有效信息和因果涌现的解析表达式，还可以确定最佳线性粗粒化策略。
随机迭代系统的粗粒化策略
在《复杂》一书中，提到的用来跨越层级并辅助研究不同层级规律的“分类器”，就是粗粒化策略重要的应用领域，“分类器”可以通过类似自催化集的方式进行组织和再组织，文章体现的就是针对某种指标对粗粒化策略的优化。
对于线性迭代系统，最直观的操作就是进行降维线性变换，也称投影
从而得到一个宏观变量，同时也得到针对宏观变量的一个新的随机线性迭代系统
这里的降维矩阵W可被视为一种粗粒化策略。我们在对变量进行粗粒化的同时，相当于也对动力学系统做了粗粒化，得到了有着自己的动力学参数和随机噪声的宏观动力学。
计算因果涌现时，提到了一个重要概念就是有效信息。有效信息（Effective Informaion，EI）概念最早由 Giulio Tononi 等人在2003年提出[6]，有效信息作为整合信息论中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统便具备很高的整合程度，而有效信息便是用来度量这种因果关联程度的关键指标。Erik Hoel 后来将有效信息拓展为因果涌现的度量指标[2]。
如果将线性随机迭代系统当成映射函数，可以直接用因果几何[3]中的方法推理出有效信息
但是有效信息受向量维数n影响很大，会陷入维度越高有效信息越大的误区，因此需要单独引入线性随机迭代系统的有效信息这一指标来解决该问题。
对于线性随机迭代系统的单步的映射，我们可以得到有效信息的精确计算公式
可以消除维数对因果效应度量的影响。但是其中代表干预区间大小的参数L作为超参，依然会对有效信息的计算引入人为因素。
计算因果涌现的时候，由于维度平均后作差可以消去L，一定程度上可以解决干预区间大小L设定的问题，通过作差，我们不难发现最终的因果涌现只由微观动力学的参数矩阵、噪声协方差矩阵以及粗粒化参数三个参数向量所决定。
为了找到不依赖粗粒化策略的因果涌现，我们可以通过优化粗粒化策略得到因果涌现的最优解，而因果涌现达到最优解时，粗粒化策略的解集也至关重要。我们知道因果涌现最优解为
其中 |λ1|≥|λ2|≥…≥|λn|≥0 是参数矩A的特征值，η是粗粒化造成的信息熵损失的下界。
因果涌现达到最优解的条件其实就是宏观态的参数矩阵保留最大的k个特征值使ΔJ2达到最大值，同时减小矩阵的不确定性，并使信息熵 H(p(xt+1|xt))/n-H(p(yt+1|yt))/k≤η 为最大压缩量，又可以避免宏观态完全变成确定函数使信息熵理论失效。
随机生成粗粒化参数W对参数矩阵以及协方差矩阵影响
在优化确定性涌现和简并性涌现后，我们可以找到与最优解相对应的两个解集。因此，两个解集的交集是对应于因果涌现的最大程度的W的解集。在二维平面，最终的解空间可以表示为一个椭圆与一条直线的两个交点。在三维空间中的特定情况下，解空间该是解析几何中一个平面和球的交线，即一个圆。
3维变量降维成2维变量的最优粗粒参数矩阵解集在3维空间的投影
因此我们可以类推，在一般情况下，三维空间中的解集就是椭球和平面的交线，也就是椭圆，整个粗粒化矩阵的解集就是两个椭圆各自的空间。高维空间中就是k个n维空间中的超椭圆组成的空间。从中我们可以发现，因果涌现最大化的条件有两点，第一，我们需要保留迭代参数矩阵最大的k个特征值，舍弃较小的n-k个特征值；第二，我们要将我们的随机噪声进行降噪，在保留一定信息熵的基础上，将噪声最小化。
有了最优化的解集，我们便可以缩小粗粒化策略的搜索范围，并且直接找到可以使因果涌现最优化的粗粒化参数矩阵W。
本文中的因果涌现计算方法具有强大的功能，尤其是对于随机迭代系统的因果效应以及演化规律的推断。首先，文章将线性随机迭代系统中已知模型的因果涌现作为解析解。这也是因果涌现首次被计算为连续状态动力系统中的解析解。其次，文章在最大化因果涌现的过程中，找到了粗粒化策略的解集。最终发现线性系统中参数矩阵的特征值决定了因果涌现的值。第三个是得到的最终结果，它只与系统本身有关，与特定数据无关。这在一定程度上解决了数值解依赖于数据的问题以及人工搜索粗粒化策略的需要。
随机迭代系统的因果涌现尽管拓宽了因果涌现的理论框架，但是依然有很多方向未得到探索。一是目前的模型仅适用于线性系统，对非线性系统仍缺乏统一的分析和判断。另一方面，线性随机迭代系统的时间是离散的，因果涌现的计算方法不适用于连续时间动力系统。
1. 考虑如何正确计算具有离散概率空间的连续时间马尔可夫过程的因果涌现，如出生和死亡过程或排队过程。
2. 另一个方向是关于随机微分方程或福克-普朗克方程的因果涌现，如期权定价方程和朗之万方程，即时间与状态空间都是连续的动力系统。
3. 第三个方向是量化和探索EI与未知模型之间的因果关系，如时间序列模型上的格兰杰因果关系。
希望在未来能有更多的相关研究，来完善因果涌现的框架，欢迎大家的关注与加入。
1. Hoel, E.P.; Albantakis, L.; Tononi, G. Quantifying causal emergence shows that macro can beat micro. Proc. Natl. Acad. Sci. USA 2013, 110, 19790–19795.
2. Hoel, E.P. When the map is better than the territory. Entropy 2017, 19, 188.
3. Chvykov, P.; Hoel, E. Causal geometry. Entropy 2020, 23, 24.
4. Zhang, J.; Liu, K. Neural information squeezer for causal emergence. Entropy 2022, 25, 26.
5. Yang, M.; Wang, Z.; Liu, K.; Rong, Y.; Yuan, B.; Zhang, J. Finding emergence in data: Causal emergence inspired dynamics learning. arXiv 2023, arXiv:2308.09952.
6. Tononi, G.; Sporns, O. “Measuring information integration”. BMC Neuroscience. 2003, 4 (31).
在集智俱乐部「因果涌现第五季」读书会，北京师范大学硕士研究生刘凯威介绍了发表于Entropy的这项最新研究“随机迭代系统的因果涌现”，欢迎感兴趣的朋友加入读书会观看视频回放。
https://pattern.swarma.org/study_group_issue/678
Entropy 杂志 Causality and Complex Systems 特刊目前在持续征稿中，欢迎对相关话题感兴趣的研究者投稿，会议文章也可投稿。
主要信息如下：
期刊：Entropy (ISSN 1099-4300)
栏目：复杂性特刊
主题：因果与复杂系统（Causality and Complex Systems）
征稿截止日期：2024年9月24日
通过以下链接进入官网查看更多信息：https://www.mdpi.com/journal/entropy/special_issues/causality_complex_systems
跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。从2021年夏天至今，集智俱乐部已经陆续举办了四季「因果涌现」读书会，系统梳理了因果涌现理论的发展脉络，深入探讨了信息整合与信息分解的本质，并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，对复杂系统的涌现现象有更深刻的理解。读书会已完结，现在报名可加入社群并解锁回放视频权限。欢迎感兴趣的朋友报名参与！
作为北师大系统科学学院的教授，以及集智俱乐部、集智学园的创始人，集智科学研究中心院长，张江从2003年开始，就长期从事有关复杂系统建模的工作。近年来，张江带领着北师大的研究组开始聚焦在基于新兴AI技术进行基于数据驱动的自动建模研究，并立志破解复杂系统的涌现之谜。我们希望可以有对复杂系统自动建模领域有热情，且认可这个领域发展前景的朋友一起来合作，促进这一领域的快速发展。我们希望这个叫做“ Complexity AI ”，中文叫做“复杂AI次方”的开放实验室，能够真正实现思想共享、资源共享、跨学科交叉，共同为复杂系统自动建模而奋进。
详情请见：“复杂 AI 次方”开放实验室招募，挑战“涌现”难题
点击“阅读原文”，报名读书会
