“涌现”发现之旅：人工智能观察者与涌现的量化｜集智科学研究中心NSR最新成果
导语
论文题目：Finding emergence in data: causal emergence inspired dynamics learning
论文地址：
https://academic.oup.com/nsr/advance-article/doi/10.1093/nsr/nwae279/7732052
论文作者：杨明哲，王志鹏，刘凯威，荣英淇，袁冰，张江
因果涌现：对涌现本质的追问
因果涌现：对涌现本质的追问
涌现是复杂科学中最重要的概念，但也是最让人捉摸不定、含混不清的名词了。蚂蚁如何聚集成群？一大群分子如何相互碰撞形成第一个细胞？神经元的混乱放电如何构成了正在思考的我？所有这些风马牛不相及的古怪问题引向了同一个关键词——涌现。
“大概2003年，我有缘读到了一本书：《复杂——诞生于混沌与秩序边缘的科学》。从此开始思考涌现的问题，这差不多是20年前的事情了，”北京师范大学系统科学学院教授张江回忆道。“亚里士多德说，涌现是‘整体大于部分之和’，也就是说当涌现发生的时候，一个事物会在整体展现出每一个个体都不具备的新的特性。但这样的描述似乎有所欠缺，并不是‘涌现’的全部。”
北师大系统科学学院教授张江
2007年夏天的一个晚上，大楼上的霓虹灯吸引了张江的注意力。这些霓虹灯组成一个又一个栩栩如生的图案，点缀着这繁忙的都市。然而说到底，霓虹灯不过是挂在大楼上的灯泡罢了。与之类似，人类周遭的万事万物都是由分子或原子组成。只不过对于大多事物，比如桌子、椅子，人类作为“观察者”习以为常，没有感到惊奇罢了。想到这里，张江发现，“整体大于部分之和”这一观点所缺少的正是“观察者”这一要素。“所谓的涌现现象不是别的，正是当观察者在复杂事物中发现有趣模式的时候。”
大楼上的霓虹灯组成图案
在面对成千上万的模式或斑图（Pattern）的时候，人类观察者会根据自己的偏好，例如，对称性、惊奇性、意义等要素而有所选择。“当我们捕捉到了有趣的 Pattern 的时候，恰恰就是涌现发生的时候。”张江解释道，并展示了下面的图片来说明自己的想法：“你在图中看到了什么？一堆干枯的树枝？还是一张人脸？其实都对，干枯的树枝、天空等等都是微观构成，而人脸是这些事物分别作为前景和背景而拼接、涌现出的Pattern。在这张图中，很明显，人脸是不存在的。然而，作为这幅图的观察者，你‘定义’出了这张脸。”
“虚无”的人脸
然而，把涌现解释为观察者眼中的Pattern，似乎还是不能抓住问题的全部。生命游戏（Game of Life）是说明这个直觉的一个绝佳案例。它是一种二维的元胞自动机，每一个元胞根据八个邻居的状态来决定自己下一时刻是“生”还是“死”。随着时间演化，在这个世界中，一个个小元胞会组成运动的有趣图案，比如“滑翔机”“信号灯”。滑翔机由5个黑色方格构成，按照生命游戏的三条规则而产生斜对角的匀速直线运动。然而，令人惊奇的是，它一旦出现，就会按照“自己”的方式运动起来，似乎完全无视它的底层规则。在这个例子中，涌现而出的不仅仅是一个静态的Pattern，还包括这个“滑翔机”的匀速直线运动规律——也就是说，一种全新的“物理学”，即一套全新的“因果规律”在生命游戏世界中涌现出来了。
滑翔机的运动
更让人惊奇的一类涌现现象就是我们自身。我，作为一个人体，可以看做是由大量的活细胞组成的Pattern，然而，“我”这个独特的Pattern却具有一种神奇的能力——自由意志。也就是说，“我”可以在任意时刻挥舞我的手臂，而不需要考虑“我”的手臂遵循怎样的物理规则。甚至于，“我”可以命令“我”的手臂“掐死”一些细胞，它们没有丝毫的怨言。这里，一个“因果箭头”从宏观的“我”指向了微观的手臂，从而指挥它杀死另外一些微观细胞。
在这两个例子中，涌现而出的除了宏观的Pattern，还有宏观的“因果规律”，甚至这种因果规律还可能是从宏观指向微观。我们仍然可以从观察者的视角对这一现象加以解释，也就是我们不仅关注静态的有趣Pattern，其实更感兴趣那些具有“因果力”（Causal Power）的Pattern。例如滑翔机就是这样，一旦它在宏观尺度出现，就会“创造”一种全新的“因果力”，然后在这个“因果力”的指挥下，完成独属于它自己的斜对角运动。类似的，宏观涌现出的“我”具备更强的“因果力”，它甚至可以指挥、杀死构成它自己的微观细胞。
这样的宏观的“因果力”是怎么来的呢？张江认为，它仍然来源于观察者。是观察者“赋予”这些“无生命力”的Pattern一种全新的“因果力”——因为，这种宏观的“因果力”无论有多强，它都不能在构成这类Pattern的底层单元中找到。滑翔机的运动再平滑流畅，它不过是那三条简单规则的产物。然而，在观察者眼中，它却仿佛“超越”了底层的三条构成原则，形成了宏观的直线运动。如果说凡所有相都是虚妄，那为什么不包括因果规律这一类现象呢？
说到这里，张江顿了一下：“我当时被自己吓到了，开始质疑自己的想法：这么想真的是对的吗？即使是对的，这些又有什么用呢？我们采纳了这个观察者的视角，就能真的破解涌现，甚至于生命和智能之谜吗？更重要的是，这些思考能否从哲学思辨走向科学研究呢？”
一晃十多年过去了。除了零零散散的思考，问题始终没有什么实质性的进展。直到有一天，张江读到了 Erik Hoel 与Giulio Tononi 等人在2013年提出“因果涌现”的论文：Quantifying causal emergence shows that macro can beat micro（参看《量化因果涌现表明：宏观可以战胜微观》）。这两位作者，一位是大名鼎鼎的理论神经科学家 Giulio Tononi，他曾提出著名的定量化意识理论——整合信息论（Integrated Information Theory）。另一位 Erik Hoel 当时是他的博士后，他不仅研究理论神经科学，同时还是一位小有名气的科幻作家。
Giulio Tononi
Erik Hoel
他们提出了一种量化涌现的新方案：使用因果度量指标“有效信息”（Effective Information, EI）来定量刻画什么是涌现。具体来讲，论文把讨论的对象锁定在一大类离散的马尔科夫动力系统，即马尔科夫链上。其次，他们提出用有效信息的指标来定量刻画一个马尔科夫链的因果效应强度。之后，论文讨论了一种可能性，即对于某一些马尔科夫链来说，如果我们对其进行简化（也就是论文中说的粗粒化，Coarse-graining），就能得到一个新的更小的马尔科夫链，在这个马尔科夫链上，有效信息，即因果效应强度，可能比简化之前的马尔科夫链更大。这个时候，我们就说该系统发生了因果涌现。
“因果涌现”集智百科词条：https://wiki.swarma.org/index.php/因果涌现
相关文章：《因果涌现：概念、理论到应用｜集智百科》
张江回想起当时读到这篇论文时感受到的强烈震撼：这篇论文居然把他十多年来始终萦绕在头脑之中模模糊糊的有关涌现、因果、观察者等等问题的思考变成了如此具体的定量化理论。“这既让我感到无比高兴，同时又感到遗憾。在这十年来，我的思维悬停在一种虚无缥缈的哲学状态，却没有将它落实到具体的定量描述。”他指出，这篇论文之所以能够把玄妙的思考具体化，有几个重要的因素值得借鉴。
第一，作者并没有把研究对象放到复杂系统之上，而是对一类非常简单的对象：马尔科夫链展开了研究和讨论。这既可以大大简化问题的难度，同时又不失一般性：任何复杂系统其实都可以被抽象为一个马尔科夫链，只不过这个马尔科夫链的状态空间可能非常巨大。
其次，文章绕开了观察者这个玄妙、容易引起争议的话题，取而代之的是非常明确的粗粒化方案，也就是如何对一个马尔科夫链进行合理的约简，以得到一个尺寸更小的马尔科夫链的方法。这样一来，观察者就变成了粗粒化，从而大大避免了无必要的哲学争论。
最后，这篇论文重要的突破是引入了有效信息（EI）作为因果强度的度量，这样就可以很轻松地找到因果涌现的大量例子。这个有效信息度量指标有什么来头呢？原来，早在多年前，Tononi就已经提出了有效信息，他巧妙地用Judea Pearl的因果理论改造了传统的互信息指标，从而可以刻画一个独立的马尔科夫转移矩阵（或者可以理解为一个通信信道）的因果效应强度。然而，Tononi的核心目标是为了研究意识的定量刻画。他的著名的意识度量指标Φ就是通过有效信息作为基础而构建的。后来，Hoel和Tononi发现，其实有效信息这个指标完全可以单独拿出来，去刻画涌现这一概念，于是，就有了因果涌现。可以说，有效信息是整个因果涌现理论的灵魂。
“有效信息”集智百科词条：全网最全总结！因果涌现核心指标“有效信息”｜集智百科
不过，Hoel与Tononi的因果涌现理论也并非完美，它的一个最大缺陷是没有告诉我们应该如何选择这个粗粒化的方法。在论文中，针对每个例子，作者们都是直接给出了一套看起来非常合理的粗粒化方法，从而可以简化原始的马尔科夫链，但却从没有提及这些粗粒化方案是如何得到的。这就会引出一个问题，如果不采用Hoel论文中的粗粒化方案，结果会怎么样呢？事实上在很多例子上，粗粒化方案的一个小小不同，可能导致最终约减有巨大的差异，甚至于关于因果涌现是否发生的判断也可能截然相反。
之所以造成这样的结果，是因为Erik Hoel的因果涌现理论没有针对粗粒化方案做出任何约束。但与此同时，它也恰恰说明了观察者会影响涌现结果的判断。这里，不同的粗粒化方案其实就可以理解为不同的观察者。就好像同样是一块儿石头，在一个普通人看来毫无价值，而在一名地质学家看来，它可能价值连城——地质学家对石头可能具有超凡的分辨能力（即粗粒化方案更加精细）。
其次，因果涌现理论的另一个缺陷是，所有讨论都必须要事先已知系统的演化动力学——这就相当于我们已经建立好了复杂系统的动力学模型。然而，在实际应用中，人们通常并不能直接获得这种模型，仅有的只是一大组复杂系统表现的数据。因此，如何从大量的数据中自动获取动力学，并判断是否发生因果涌现则是Erik Hoel理论未解决的问题。
恰好在这段时间，张江课题组的主要方向是复杂系统系统的自动建模，也就是用一种数据驱动的方式构建复杂系统的模型。那么，如果结合Erik Hoel的因果涌现理论，是否能够构造一种算法，自动根据复杂系统的运行数据，学习出该系统运作的动力学，甚至于粗粒化策略，同时还能够判断它有没有因果涌现呢？
张江很快想到一种方案，用人工神经网络拟合粗粒化策略和宏观动力学来进行机器学习。但是，最初的的设计并不能很好地工作，而是会让模型学到一个简单的无效动力学和粗粒化策略。比如，它会把所有的微观态数据都映射到一个常数，这个时候宏观动力学也就变得非常简单，它只需要进行一个恒等映射就可以轻松完成任务了。更糟糕的是，这个时候如果去测量宏观动力学的有效信息，它是远大于微观动力学的。但是，这显然不是理想的结果。一个映射为常数的粗粒化方案过于简单粗暴了，编码器最好能扔掉一些信息，但同时又不能扔得太多，这样让保留的关键信息作为宏观态就可能训练出有意义的动力学。应该如何改进这个方案呢？
正在这个时候，张江了解到加州大学圣地亚哥分校助理教授尤亦庄关于机器学习重整化群的工作，他们利用可逆神经网络（invertible neural network）与归一化流（normalizing flow）技术实现了一种数据驱动重整化的方法，并在图像处理乃至宇宙学等方面取得进展。
UCSD物理系助理教授尤亦庄
于是，他们将这套技术借鉴过来，作为编码器部分的设计方案。与此同时，把右侧处理t+1时刻数据的编码器方向给调转了过来，从而把编码器转变为了解码器。可逆神经网络的好处在这里就体现出来了：解码器不需要单独设计，它只不过是编码器的逆转。同时，这样的调转方向也解决了原来的问题，神经网络不能随便抛弃信息，它必须懂得保留关键的信息，从而让解码器能够对未来时刻的微观数据xt+1进行预测。新的神经网络架构如下图所示：
NIS示意图
这样，整个神经网络就构成了一个对称的信息流管道。这个管道两头粗，中间细，就好像让信息被挤压再流出去一样。于是，张江给这个神经网络起了一个形象化的名字：神经信息压缩器（Neural Information Squeezer，简称NIS）。神经网络可以首先对输入的t时刻微观状态数据进行信息压缩、降维，从而得到t时刻的宏观态数据yt，然后，它便可以预测t+1时刻的宏观态yt+1，最后它还需要把这个预测宏观态解码到微观态预测
，最后通过与真实的t+1时刻的微观态数据xt+1进行比较，从而训练整个神经网络架构。这样的架构就使得神经网络不仅能够预测，还能够学习到如何粗粒化数据的手段。
更让人高兴的是，采用了可逆神经网络技术之后的架构具有良好的数学性质，允许一系列的数学定理被证明。例如，可以证明，当神经网络经过充分训练之后，它在宏观态上的互信息，即I(yt, yt+1)，近似等于微观态中数据的互信息，即I(xt, xt+1)。这就说明，神经信息压缩器可以提取真实数据之中有效的信息，从而抛掉与预测无关的噪声信息。
张江对自己所走的这条道路非常坚定。与此同时，因果，涌现，多尺度建模，这一个个令人敬畏的名词牵动着另一个年轻人的心弦。
北京师范大学系统科学学院硕士生杨明哲
如今已经是北京师范大学系统科学学院研究生的杨明哲，早在中学时期就对生命、意识等问题产生了好奇心。他读了不少科普书，甚至提前学习了大学生物的知识，但越来越觉得这些大问题并没有在生命科学领域中被重视，反倒是“涌现”这样一个抽象的概念很可能是正解。它意味着意识这种神奇现象背后没什么神秘的力量，不需要所谓的灵魂，只需要我们在科学巨人的肩膀上继续延伸物理法则，就可以“涌现”出来。令人兴奋的是，涌现这个概念把蚂蚁形成蚁群和神经元活动产生意识联系在了一起，体现了一种遥远的相似性。可是，涌现到底是什么意思？它似乎包含了许多，又似乎什么都没说。如此这般模棱两可，对于杨明哲来说，都说不清楚这个概念，更不可能想象到有人居然会一本正经地研究它。
但真的有人在研究它。
在听张江的报告时，他觉得因果涌现理论的那张尺度-时间示意图非常有趣：原来建模可以在不同尺度上建模，甚至不同尺度上的模型之间还可以比较！与此同时，杨明哲在张江的推荐下很快读完了Judea Pearl 的科普书《为什么——关于因果关系的新科学》，备受鼓舞。书中用因果阶梯简洁地给出了研究因果的定量框架。既然像“因果”这样原本只是被哲学家讨论的概念可以被科学定量研究，涌现为什么不可以？怀揣着这样的信念，杨明哲决定加入这趟涌现之旅。
NIS+：聚焦有效信息最大化
NIS+：聚焦有效信息最大化
因果涌现小组初期成员包括硕士生杨明哲、刘凯威，博士生王志鹏、张章，还有一位着迷于信息分解理论的吕奥博，他是圣路易斯华盛顿大学的博士生，集智读书会深度参与者。经过短暂的讨论，大家确认研究方向是继续NIS框架往下做。在第一次正式见面会议上，大家就讨论到了一个核心的问题。
“你们有没有发现NIS这篇文章最大的缺陷是什么？”第一次会议上，张江如此反复提问，其他人面面相觑。
这里所说的“最大的缺陷”是指NIS没能够最大化宏观动力学的有效信息。为什么要最大化有效信息？这关乎到NIS这套机器学习框架和因果涌现理论的关系。目前NIS只是端到端地训练来减小微观上的预测误差，可是如此得到的宏观动力学不一定是最简洁的，很难被认可为是涌现出来的宏观动力学。
所谓的因果涌现就是指一个马尔科夫动力系统的宏观动力学的有效信息大于它的微观动力学的有效信息。因此，张江认为可以把最大化宏观动力学的有效信息作为另一个目标。实际上，如果仔细阅读 Erik Hoel 的原始论文，就会发现他已经提出了最大化有效信息这一标准，论文中所有例子中的粗粒化策略都是这个最优化的结果，只不过他仅仅在一行注解的小字中进行了描述，所以非常不易察觉。很明显，Erik Hoel 并不想把粗粒化锁定在最大化有效信息的方案上。然而，这样就会导致上文提到的理论缺陷。
NIS的理论方案是把最大化有效信息作为唯一的优化函数，而将微观态的预测误差作为一个约束条件，也就是让神经信息压缩器要在满足预测误差小于给定阈值
的条件下，最大化宏观动力学的有效信息。
写出这样的优化数学框架是容易的，但是如何求解它却是非常困难的。这有几个原因，首先，优化的目标函数有效信息是一种特殊的互信息，而不是类似机器学习中的误差函数，因此无法直接用机器学习的方法进行求解；其次，这种互信息要经过do干预处理，这进一步增加了优化的难度。
在原始的NIS框架中，张江通过一种取巧的方式绕开了优化有效信息的问题。虽然取得了一些令人鼓舞的结果，但是这个未解决的问题仍然如梗在喉。于是，他下定了决心，一定要解决这个问题。
思考的接力棒传到杨明哲手中。他需要给出一个数学证明，把原本的优化目标转化成机器可求解的损失函数，并且要在一个玩具模型上用实验验证该理论。
对于学生来说，除了问题本身的难度，还要面对能力和经验的缺乏。幸好，这个时候一位经验丰富的互联网工程师袁冰加入了课题组。他虽然是工程师，却对科学研究念念不忘，参与了集智俱乐部的多个不同主题的读书会。由于他曾经自学过 Judea Pearl 的因果科学，于是很快成为了因果科学读书会中的一名活跃成员，常常热心地回答入门同学的问题，并得到了“袁老师”的称号。此时，袁冰正面临职业生涯的转折点，刚好从上一家互联网公司辞职，而徘徊于进入科学研究的大道还是继续他的互联网产品开发。正是在这个时刻，张江成功游说他加入研究小组，一起攻克因果涌现问题。他在因果科学领域的积累恰恰是原本团队所欠缺的。
集智科学家袁冰
他和杨明哲一起，推敲数学符号，做了许多数值模拟实验。最终，团队证明了有效信息的变分下界是机器可以学习的目标函数。某一次汇报中，王志鹏使用了NIS+这样的名字。从此，强化版神经信息压缩机（NIS+）的整个机器学习框架开始茁壮成长，在各个实验上大杀四方。
为了验证最大化有效信息理论的正确和有效性，杨明哲和袁冰先后尝试了弹簧振子模型，Kuramoto 模型，以及SIS、SIR等病毒感染动力学模型。弹簧振子过于简单，Kuramoto 难以训练，最终杨明哲将目光锁定在 SIR 感染动力学模型上。
NIS+拓展：大规模的复杂系统
NIS+拓展：大规模的复杂系统
与此同时，王志鹏正陷于解码生命游戏实验的泥沼中。还记得文章前面介绍的生命游戏吗？它是复杂系统研究的一个核心对象，团队自然期望NIS+可以在这个模型上给出令人惊奇的效果。但是，它并不容易。“这个事情很困难，你在做的事谁也没尝试过，包括我。”张江在一开始就提醒道。
北京师范大学系统科学学院博士生王志鹏
“难点在于我们没有ground truth，不知道正确的结果应该是怎样的。”王志鹏说道。首先，生命游戏中局部规则的影响是有传播速度的，这意味着，在做空间粗粒化的同时，还需要做时间粗粒化，如下图所示。
生命游戏上的时空粗粒化
除了时空粗粒化，为了应对高维的复杂系统，NIS+还可以在编码器上玩出各种花样，像搭积木一样。一个是堆叠编码器（Stack），可以让NIS+对系统逐层降维，减轻训练压力。第二个是并联编码器（Parallel），可以将微观的维度打包分组，每个组所对应的编码器都是参数共享的，比如生命游戏就使用了并联编码器，把原本偌大的空间先分割成一个个9*9的小空间。第三个是多层并行的训练框架（Multistory），可以多层同时训练宏观动力学，减少参数搜索的时间。刘凯威就使用了这样的拓展框架。
刘凯威先是帮助张江整理完成抛出NIS框架的文章，随后选择了鸟群模型实验（Boid），加入了NIS+的研究队伍中。鸟群和生命游戏一样，都是计算机模拟实验，也都是复杂系统研究中的经典案例。它的局部规则也很简单：每只鸟都有一个特定的视野半径，并同时受三种力，一个是和靠得很近的鸟有分离的力，一个是和视野范围里较远的鸟有相聚的力，另一个则是努力保持和周围鸟飞行方向平行的力。和生命游戏的不同之处在于，生命游戏涌现出的斑图是像滑翔机这样一个个的“波”，而鸟群则是通过主体间局部规则的交互作用，涌现出灵活又有序的集群行为。
北京师范大学系统科学学院硕士生刘凯威
希望和挫折总是相伴相生，多层并行训练框架在解决一些问题的同时，也带来不少麻烦。如何调配多层预测 loss 之间的比例？怎样在多层训练的同时完成有效信息最大化并且比较不同的尺度？诸如此类的，或是细节或是大局的问题，吸引团队的所有人倾情投入。早期金丰和创业园区里的实验室，凶悍十足的小猫张力，北师大系统科学学院里的会议室，隐匿在北京门头沟区的集智公寓，都一次次见证了这群人在讨论时的热闹，写代码时的冷清，思考时的集体沉默，分析实验结果时的喜悦和沮丧。没人知道这样的路有多长，会走多久。
实验结果：捕捉宏观动力学
实验结果：捕捉宏观动力学
一年时间过去了，实验上的研究日趋成熟。
NIS+的一个首要核心能力就是从含有噪声的数据中，自动学习出有效的宏观动力学。这篇文章在SIR动力学模型构建的简单案例上尝试验证这一点。那么，NIS+是否能够提取出有效的宏观动力学呢？它与其它模型的对比效果如何？
这是宏观SIR动力学在相空间中的矢量场，它决定了系统状态处于任意一个点的时候未来运动的方向，以及NIS+模型预测的矢量场。可以看到NIS+相比于NIS，预测的箭头与真实动力学的箭头基本重合在了一起，这说明NIS+能够准确地恢复出原始的宏观动力学。
他们进一步用鸟群模型作为基准来测试NIS+的学习效果。在充分训练好之后，NIS+能够提炼出一个宏观动力学，进而很好地捕获两个群组的运动轨迹（如图实线所示）。
在鸟群实验中，这篇文章系统性地探讨了噪声对因果涌现识别结果的影响。噪声有两种，一种是系统噪声，一种是观测噪声。所谓的系统噪声是指模型的动力学中所包含的噪声，会随着模型的迭代而加强。观测噪声则是指表现在可观测的微观态数据之中的噪声，它并不会影响鸟群的动力学，更不会随着迭代而加强。那么，这两种噪声分别会如何影响因果涌现的结果呢？
左图展示的是观测噪声对因果涌现的影响。读者可以看到，当噪声水平小于0.1的时候，因果涌现会随着噪声的加强而增长，也就是说观测噪声越强，系统就会展现出越清晰明显的因果涌现效果。但是，当噪声水平大于0.1的时候，因果涌现的效果就会随着观测噪音增加而减小。这是因为这个时候由于数据中包含了过强的噪音信号，甚至远超过微观态数据的原始信号，导致模型不能正常工作了，因此因果涌现减弱。
右图展示的是系统噪声对因果涌现的影响。与观测噪声相反，系统噪声水平越高，因果涌现的效果就会越弱。这说明，粗粒化操作并不能消除系统噪声，因为系统噪声是内置于系统动力学中的不确定性，因此很难被消除。同样，当系统噪声水平超过一定阈值，这里是0.4的时候，预测误差（normalized MAE）会显著增加，说明模型已不能很好地完成预测，因此因果涌现度量的误差棒也会显著提升。
“令人激动的是，根据误差变化截断选出来的预测误差阈值0.3和SIR实验里的阈值是一样的，这可能不是巧合，而是说明这套机器学习框架在观察学习不同的对象时有一定的一致性。”刘凯威这样说道，“鸟群的临界相变和系统噪音的大小密切相关，或许在未来因果涌现理论可以用来识别临界相变现象。”
当这篇文章把架构灵活多变的NIS+应用于生命游戏所产出的数据之后，也能够很好地捕捉生命游戏中那些动态的Pattern。如下图：
图中展示了三种不同的Pattern（包括静止的、周期振荡的和移动的），真实的原始数据、学到的宏观状态变量，以及模型预测的结果，可以看到模型预测的结果基本能够与原始数据达成一致。这说明，NIS+可以捕获系统中涌现的Pattern。
实验结果：分布外泛化能力
实验结果：分布外泛化能力
采用了有效信息最大化以后，NIS+相对于NIS具有了更好的分布外泛化的能力。所谓的分布外泛化，就是指将模型应用到训练数据集中区域以外的区域，仍然具有良好的预测效果。在SIR实验中，为了测试模型的分布外泛化能力，研究中将训练数据集集中在整个取值空间的某一个区域，如下图所示，被标注的区域就是训练数据所分布的区域。而测试模型时使用的是整个相空间的全部区域。
下图中红色的柱子是各种不同模型在分布外泛化上的表现，这种表现度量是用全部空间区域上的多步预测误差作为评判结果的。可以明显看出，NIS+具有最好的表现。图中绿色的柱子是当训练数据集本身就包含所有的区域，测试也是在同样环境下进行的多步预测误差，这一误差可以反映模型的分布内泛化的水平。可以看到NIS+和NIS模型的差异就没那么显著了。这说明，最大化有效信息的确可以增加模型的分布外泛化能力。
他们同样在鸟群和生命游戏等模型中测试了NIS+和NIS的分布外泛化能力。
例如，鸟群实验是在一部分区域中进行训练，但可以在更大范围的空间中测试模型。图中展示的就是随着测试区域的增大，误差增加的结果。可以明显看出，NIS+相对于NIS在各个半径下都有较小的误差，同时随着范围的增大，二者逐渐持平。这说明NIS+的确比NIS在鸟群实验中有更好的泛化能力，但是这种能力差异随着范围的变大而减弱。
同样地，NIS+在生命游戏实验中也具备比NIS更强的泛化能力，这体现在它们对于不同环境下的模式预测具有更高的准确率。
那么，为什么通过最大化有效信息就能提升分布外泛化的能力呢？答案在于有效信息最大化能够让NIS+摆脱输入数据分布的影响，而学习到真正的宏观因果机制，即宏观动力学。有效信息与一般互信息的区别就在于把输入给宏观动力学预测器的输入数据干预为均匀分布，通过逆概率重加权技术，这一操作就可以让所有的宏观态都获得平等的权重，从而让预测器在不同于训练数据分布的区间也同样被更好地训练。其背后的本质就在于NIS+通过最大化EI，能够学习到真正的宏观因果机制。
实验结果：人类大脑中的因果涌现
实验结果：人类大脑中的因果涌现
以上实验结果都是在计算机模拟的实验上做的，如果是在真实的复杂系统数据上应用NIS+，还能否有这般出色的效果？2023年4月左右，团队又吸纳了一名处于GAP Year的集智志愿者科研助理荣英淇。他对大脑fMRI数据非常熟悉，正好可以帮助团队处理真实的脑数据，来验证NIS+框架。谈到为什么加入这个项目，荣英淇说：“相比于其他认知科学或神经科学的研究，这个项目有更强的理论指导，这是我比较喜欢的。”至此，NIS+六人小组全部集齐。
约翰霍普金斯大学研究生荣英淇
为了测试NIS+和NIS模型在真实数据上的效果，荣英淇选择了830个被试的fMRI时间序列数据作为输入来分析人类大脑中的因果涌现现象。试验数据有两组，第一组是这830多个被试观看同一个短视频所展示出的fMRI数据，第二组是这830个被试处于静息态下的情形。
当荣英淇考察这些维度的因果涌现水平时，得到q=1维是更好的选择，如下图：
该图中，绿色柱子就是NIS+应用于第一组实验数据所计算出不同维度q下的因果涌现数值。可以看出q=1的数值最高。为了比对，团队也用NIS框架分析了同样的数据，如图中的红色柱子所示，可以看出它在不同维度上的分布与绿色柱子近似相同，但是因果涌现度量都比较小。这说明，q=1 维能够展现因果涌现是一个稳定客观的结果，其次，NIS+由于最大化了EI，因而会让这一结果更加突出。
综合来看，当被试在看同一组视频的时候，它们的fMRI数据用一个维度的宏观动力学就可以很好地概括大脑的活动了。荣英淇利用归因分析技术，追踪这一个维度的宏观态数据到底和哪些原始数据维度有关，并把归因分析的强度值分配到这100个原始微观态维度所对应的脑区，如下图所示：
可以看出，颜色较深的区域大多都是负责视觉信号加工的脑区。
第二组试验结果如图中的黄色柱子所示。这个时候，因果涌现最大的维度在q=3或q=7的位置。这个时候，大脑的动态表现无法简化为一个一维的宏观动力学，而至少需要3~7个维度才能对大脑的活动进行概括。
综合这两组实验可以得出结论，首先NIS+是可以直接从fMRI时间序列数据揭示出大脑在不同尺度的动力学，并发现因果涌现主要发生在哪个尺度；当被试集中看视频的时候，大脑活动可以被一个维度的宏观信号所概括，这一维度主要代表的是视觉区域的活动状态，大脑发生了非常明显的因果涌现现象；而在静息态下，被试大脑虽然也发生了因果涌现现象，但强度明显低于前者。大脑的主要活动则相对第一组更复杂，因为它不能简单地被一个维度的宏观态所概括，而是集中在一个3~7维的介观尺度上。
“顺着这些研究成果，或许未来我们可以解答诸如意识究竟是怎样发生的，发生在何处这些问题。”张江对这个结果评论道。
机器观察者
机器观察者
NIS+的最终框架可以由下面这张图来总结：
首先，NIS+可以看做是一个黑箱，它的输入信息是各种时间序列数据，例如多个智能体的运动轨迹、元胞自动机的状态演化序列、或者脑电信号等等；它的输出则有三个部分，分别是宏观动力学和涌现的Pattern、如何从微观态得到宏观态的粗粒化策略，以及对于因果涌现程度的度量。其次，进入这个黑箱，可以看见NIS以及在NIS基础上发展起来的NIS+的机器学习框架。而在机器学习框架的背后，有着严格的数学证明的保障。
“回想从2007年开始，我便思考关于什么是涌现，如何描述它，如何把它定量化等问题。从漫无边际的哲学思考，到受到Erik Hoel研究论文的启发，再到提出我们自己的机器学习框架NIS，以至于终于完美解决最大化EI问题，从而提出NIS+框架，我们对于涌现的认识与研究终于可以告一段落了。”张江这样总结道。
最令张江感到兴奋的是，关于“观察者”和涌现的思考终于可以落到实处了。这是因为，NIS+事实上就是一个理想的“机器观察者”。一个被训练好的神经网络不仅可以学习，可以对输入信息进行分析，甚至对一个系统是否发生涌现现象给出自己的判断。研究中用 Hoel 原始论文中的大量例子生成训练数据，然后将这些数据输入给神经信息压缩器这个机器观察者，它给出了与原始论文中完全相同的关于因果涌现的判断。这意味着，机器观察者完全可以替代人类观察者，做出客观的因果涌现判断。
这里的机器观察者和传统的统计建模手段有什么区别？例如主成分分析法，虽然是直接的客观计算方法，但仍需人去解释变量含义。事实上，面对涌现、意识、智能、生命等很难被量化的问题，观察者的主观解读是非常重要的一环。自伽利略、牛顿时代伊始，我们习惯了还原论的思考，习惯了观察者和被观察被研究对象之间彻底分离，殊不知观察者的主观体验也是一种真实，也许是科学疆域里更重要的板块。
可是科学的研究毕竟需要客观可量化，如何调和这里主观与客观的冲突呢？这便是机器观察者的作用了。人类面对同一个系统会有不同的粗粒化方法，即不同的主观解读，而这些主观标准的背后又有一些共同点，代表着某种固有的认知属性。这些共同点就可以被机器观察者所捕获。
更进一步，有些复杂属性的判断必须要在观察者与被观察系统进行互动的时候才能体现。例如，当我们评判一台机器是否有生命甚至意识的时候，我们作为观察者必须与被观察系统进行互动（例如图灵测试）才能完成。这个时候，用机器观察者替代观察者，就可以更加清晰、客观地去研究这类难问题了。
当然，用机器观察者替代人类观察者的前提，是机器观察者必须具备相同的参数、条件和结果，这才能保证研究结果的可复现性和客观性。然而，由于模型的参数、数据量的多少和质量会显著影响机器学习算法的表现和最终的判断结果，因此，这为基于机器观察者的研究增加了新的挑战。“这提醒我，现在的NIS+有关因果涌现的研究还不算十分完备，我们必须针对参数量、数据量等因素如何影响因果涌现最终的判断进行更完全的研究。”张江如是说。
对于袁冰来说，NIS+象征着计算可约与不可约的分界线。物理学家沃尔夫勒姆提出计算不可约的概念，指的是某些系统观察者必须等到该系统演化到某一步时才知道结果，而无法提前预测到结果。“在茫茫的大海上，计算不可约的系统是那占据着绝大部分面积的海水，而零星的岛屿是所有计算可约的系统，是人类可以掌握并加以利用的。而NIS+所做的事情，就是在收集着这些零星的宝贵的岛屿。”袁冰这样说道。
念念不忘，必有回响。对大问题、偏哲学类问题的思考从来都不是“不务正业”的异想天开，相反，它是定量化科学研究的开始。而研究者需要做的就是坚持下去。如今，NIS+的机器学习框架仍由杨明哲不断在完善，王志鹏将它应用在小鼠大脑上以研究意识问题，荣英淇还在追踪有效信息在大脑研究上所扮演的角色。“当我们把有效信息拆成确定性和简并性两部分后，在大脑活动中分别对应着怎样的物理含义？”他觉得这是一个非常有意思的问题。一趟旅程结束了，千万颗种子也已经播种，等待着下次出发。
参考文献
-
提出因果涌现的论文
-
NIS 框架论文
-
NIS+ 框架论文
-
NIS 工作的介绍：
-
NIS+ 工作的介绍：
因果涌现社区
因果涌现社区
“复杂 AI 次方”开放实验室招募
详情请见：“复杂 AI 次方”开放实验室招募，挑战“涌现”难题
集智科学研究中心
集智科学研究中心
集智科学研究中心是一家民办非企业，致力于营造跨学科探索小生境，催化复杂性科学新理论。集智研究中心长期关注复杂科学中的核心问题，如涌现、因果、自指、意识、生命起源等等，并充分结合人工智能机器学习技术尝试解决这些问题。目前已有14篇文章发表于国际期刊，其中包括一篇因果涌现的综述和一篇生命起源的综述。这里的文章大部分产生于集智社区读书会。
部分研究成果报道：
访问集智科学研究中心网站了解详情：www.research.swarma.org/research
7. 加入集智，一起复杂！
微信扫一扫,分享到朋友圈
