导语


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论将人工智能中的因果和复杂系统中的涌现结合起来，有望破解复杂系统的涌现规律。


在集智俱乐部「因果涌现读书会」第一季，我们探讨了因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具。本文基于读书会的框架和分享主题，系统梳理出一条适合初学者的学习路径，希望帮助你快速获取重要信息。进阶的「因果涌现读书会」第二季即将开始，欢迎感兴趣的朋友继续参与。

王婷 | 作者

邓一雪 | 编辑





1. 什么是因果涌现？




复杂系统在宏观状态和微观状态都有不同的刻画和描述。


当我们用不同的放大比例去看一个复杂系统的时候，会得到完全不同的模式与动力学。当一个系统在宏观尺度能够展现出比它的微观尺度更强的因果特性，那么，这就发生了因果涌现（causal emergence）。


比如，一堆随机运动的粒子，在微观层面看毫无规律，但是当我们从宏观进行抽象，转而运用压强、体积以及温度等宏观量去刻画系统的时候，便得到了理想气体公式PV=nRT，它描述很强的宏观尺度下的因果规律，这就是因果涌现。


理想气体公式 PV=nRT


所以对复杂系统内的因果关系在多个时空尺度上进行分析，就需要定量刻画系统在不同尺度、不同时空的因果关系。Erik Hoel 就提出了“因果涌现”的概念，通过对系统在宏观和微观尺度下的“有效信息”进行描述和刻画，找到系统在宏观状态下的因果规律。

关于因果相关的基本入门，集智俱乐部曾举办因果科学系列读书会来进行专门的讨论和分享，可以参考这两条路径：


李奉治同学根据Judea Pearl的因果之梯，结合读书会的讨论，给出了一个框架性的学习路径：

构建因果引擎，创新科研范式——因果科学的学习路线图


张妍根据龚鹤扬博士在集智读书会上的分享，整理了因果学习的综述讨论：

https://pattern.swarma.org/article/90





2. 为什么要讨论因果涌现这个视角？




因果涌现很好地刻画了系统宏观和微观状态之间的联系和区别。
  • 从理论层面说，因果涌现最大的亮点就是把人工智能中的因果和复杂系统中的涌现这两个核心概念给结合起来了。这两个概念在各自的领域中都是非常核心的，而因果涌现为这两者的结合建立了一个定量的理论框架。
    另外，因果涌现将一个非常重要的物理变量“尺度”引入到了人工智能、机器学习等学科之中，这一新“维度”的引入，必然会引发一系列的理论工作，例如贝叶斯网上的因果涌现，宏观尺度的“软控制”等等。
  • 从哲学意义上来说，因果涌现为我们回答一系列的哲学问题提供了一个定量化的视角。比如，生命系统、社会系统中自上而下的因果等特性就可以站在因果涌现的框架下来讨论。
  • 从应用的角度说，因果涌现可以给出一系列可定量化操作的指标，从而判别出一个系统中是否有涌现的因果。也可以构建从数据中自动发现因果涌现的机器学习框架。

  • 在机器学习领域，已经有一些模型算法应用了因果涌现的想法，比如Word2Vec、Sparse Coding等。再比如压缩降维等方法其实都可以理解为粗粒化，但是将粗粒化明确与因果相结合并给出定量刻画的例子尚没有。


通过粗粒化操作，把微观态映射到宏观态。微观上因果联系非常弱，宏观上则具有非常明确的因果规律。


关于复杂系统的层级结构研究的介绍，可以参考刘培源撰写的路径：

复杂系统的层级结构：一个跨学科研究的典范

https://pattern.swarma.org/article/5


介绍了复杂系统层级结构的概念，以及这个工作的研究历史。





3. 如何操作因果涌现？




因果涌现的具体每一步操作，都可以用数学进行严格的刻画，前提假设是系统的动力学必须是一个马尔科夫动力系统。
  • 第一步：使用马尔科夫动力学作为动力学刻画复杂系统；
  • 第二步：使用“有效信息”来刻画因果机制；

  • 第三步：加入粗粒化操作来连接系统的宏观状态和微观状态。然后计算有效信息EI，比较宏观的EI是否大于微观的。如果大于，那么就找到了因果涌现；如果不大于就再次调整粗粒化方法以及尺度，重新找。


这个部分的内容，涉及到因果涌现最核心的信息。在张江老师总览性的介绍和岳玉涛老师对因果涌现的概念介绍的部分都有涉及，可以在学习路径的部分来找到对应的介绍。


其中关于马尔科夫动力学的部分，有朋友推荐了《 Information Theory for Complex Systems 》这本书，可以找对应的章节来阅读。





4. 因果涌现和其他主题的关系




这个图来源于岳玉涛老师最后一期的分享，大家把不同主题的逻辑关系串联了一次。


岳玉涛老师总结对因果涌现读书会的串讲


建议大家按照以下顺序来学习相关材料：


第一步：总览性的分享和介绍


这部分可以参考张江因果涌现第一次的分享：涌现、因果与自指——“因果涌现”理论能否破解生命与意识之谜 

在这里面，张老师介绍了因果涌现理论，包括因果涌现跟机器学习的联系，因果涌现中涉及到的重要重整化技术和自指概念，包括因果涌现跟意识、整合信息论之间的关系。


读书会成员黄华津也整理了张江老师的视频分享，发表在了集智俱乐部的公众号上： 涌现、因果与自指——“因果涌现”理论能否破解生命与意识之谜

 

第二步：关于因果涌现核心概念和实现技术的了解


可以先看一下岳玉涛老师第五讲：量化因果涌现：当地图优于疆域（https://campus.swarma.org/course/3528） 。在这里，很好地基于因果几何进行了扩充，主要是围绕 Eric Hoel 的这两篇文章进行了详细讨论：

Quantifying causal emergence shows that macro can beat micro. Erik P. Hoel, Larissa Albantakis, Giulio Tononi（2013）

When the map is better than the territory. Erik P. Hoel. Entropy（2016）


其中关于《When the map is better than the territory》，读书会成员赵婷婷全文翻译了这篇文章，并且公众号上进行了分享和介绍：量化因果涌现表明：宏观可以战胜微观


章彦博同学基于自己的研究，重点介绍了因果涌现的数理基础介绍和推导，跟岳玉涛老师的分享可以很好的补充。 第三讲：因果涌现的理论（https://campus.swarma.org/course/3444）


深入了解看一下岳玉涛老师关于《因果几何》这篇文章的分享： 第四讲-因果几何：复杂系统与简单模型的背后（https://campus.swarma.org/course/3444），围绕这篇文章，岳老师用通俗易懂的语言，介绍了系统、模型、参数、干预等核心概念，并且重点介绍了连续系统的有效信息（EI）以及示例，以及因果涌现的具体示例。能帮助大家很好地了解因果涌现的核心概念。另外，对于连续系统，因果几何还开创了用信息几何的方法来给出因果几何的介绍。

Causal Geometry. Pavel Chvykov, Erik Hoel. arXiv（2020）


第三步：因果涌现的一些应用（复杂网络、深度学习和软件工程）


因果涌现这个概念，是否可以推广应用在不同的系统上面呢？基于这部分内容，我们发现因果涌现在复杂网络、深度学习、人工智能软件等方面都可以应用。

江水介绍了复杂网络中的因果涌现现象，首先介绍了表征网络信息量的“有效信息”的定义，并指出高信息尺度（即因果涌现现象）存在于不同类型的网络中；进一步，介绍了一种基于谱聚类的有效识别网络中因果涌现的方法，该方法效果显著优于基于贪婪和梯度下降的方法。


主要基于这3篇文章：

Quantifying causal emergence shows that macro can beat micro. Erik P. Hoel, Larissa Albantakis, Giulio Tononi（2013）


Finding the right scale of a network: Efficient identification of causal emergence through spectral clustering. Ross Griebenow, Brennan Klein, Erik Hoel. arXiv（2019）


The emergence of informative higher scales in complex networks. Brennan Klein, Erik Hoel（2020）


其中这篇文章代码的部分也在这个库中有详细的介绍，如何用Python实现有效信息和因果涌现（https://github.com/jkbren/einet）


陈昊从信息论出发，介绍一种量化神经网络训练因果结构强弱的方法，该方法可以视作有效信息论在深度神经网络上的扩展。通过使用该方法，我们可以直接观察到深度神经网络在训练过程中整体因果结构的变化，这可能是打开神经网络“黑箱”的关键一步。


主要介绍的是这篇文章：

Examining the causal structures of deep neural networks using information theory. Simon Mattsson, Eric J. Michaud, Erik Hoel. arXiv（2020）


还有一部分更偏工程应用的分享和讨论，是汪林川介绍面向方面软件工程与生物神经的对比和联系，介绍因果涌现的基本思想，以及有效信息的计算方法与人工智能的结合。主要介绍的是他自己的工作：

Aspect-Oriented: a Candidate for the Biologically Inspired Programming Paradigm for Neural Networks and Evolvable Software. Linchuan Wang, Xuefei Tang, Lijia Zhang. WAOSD’2004（2004）

 

第四步：实现因果涌现的重要技术：粗粒化&重整化


粗粒化是因果涌现中非常重要的一步，通过粗粒化的操作，系统的马尔科夫动力学就有可能从一个完全随机的动力学变成一个完全确定的动力学，粗粒化之后才能得到宏观状态的动力学，也是因果涌现的基本框架。


在这篇文章中：

Quantifying causal emergence shows that macro can beat micro. Erik P. Hoel, Larissa Albantakis, Giulio Tononi（2013）


说明了如何对多体系统进行粗粒化描述，即同时对节点进行粗粒化。当然，粗粒化也可以在时间尺度展开，重点可以参考岳玉涛对这篇文章的解读。


那粗粒化和重整化之间的联系和区别在哪里呢？


重整化可以理解为一个特殊的粗粒化过程，从微观数据到宏观数据的过程是粗粒化过程。从描述微观数据的模型到描述宏观数据的模型的过程是重整化过程。（来源于张章的总结）


关于这个概念的区分和介绍，张章推荐了圣塔菲研究所制作的一个科普视频，很好的介绍了这个概念：大家可以查看YouTube上面的这个视频 Renormalization: Introduction。


第五步：关于 Sloppy model 的深入理解


在这部分，由傅渥成老师重点讨论了 Sloppy model 技术： 复杂系统中稳定的宏观规则的涌现。Sloppy model 是说，对一个系统构建的模型具有很多额外的参数，这些参数并不会对数据的拟合效果造成影响。

因此，也就意味着模型可以被简化压缩。那么，如何可以找到更简单的模型呢？这就可以通过对数据做粗粒化，忽略掉不相关的信息，从而构建宏观的因果涌现（因果效应更强的）模型，这种模型就是不 Sloppy 的模型。

所以，Sloppy 模型可以理解为微观动力学模型；Non-sloppy 模型就是宏观动力学模型。
 

第六步：从因果涌现视角定量刻画涌现


当一个实体被观察到具有其所有组成部分本身没有的属性时，涌现就出现了。这些属性或行为只有当各个部分在一个更广泛的整体中相互作用时才会涌现。 涌现作为复杂系统的一个核心概念，长期以来没有定量的刻画。目前因果涌现开辟了定量刻画涌现的先河，就是用有效信息。

在了解了因果涌现的核心概念之后，可以更深入地理解涌现这个概念，张章介绍了如何对涌现进行分类，如何从信息论的基本概念出发，介绍新的信息分解方法，解释宏观上的不确定性是如何出现的（所以需要有信息论的一些基础知识，包括熵）： 第八讲：理解涌现的反馈视角和信息视角（https://campus.swarma.org/course/3528）。

主要围绕这2篇文章：

Emergence as the conversion of information: A unifying theory. Thomas Varley, Erik Hoel. arXiv（2021）


Nonnegative Decomposition of Multivariate Information. Paul L. Williams, Randall D. Beer. arXiv（2010）


其中关于涌现的分类可以参考十三维写的公众号文章： 涌现的种类与形式 ，这篇文章翻译自

Types and Forms of Emergence. Jochen Fromm. arXiv（2005）


他也推荐关注其中一个非常重要的小组，了解更多相关的研究：CAS-Group Blog（http://blog.cas-group.net/）


这部分的内容，对鸟群行为感兴趣的朋友可以深入了解：


鸟群是研究复杂系统及涌现现象非常重要的群体，通过借助统计力学的概念框架，探讨鸟类的动态信息传递机制，希望通过对鸟群数据的观察和分析，能够进一步理解生命群体的涌现过程。


第一部分


张骥主要分享了鸟群信息传递的涌现过程，讨论了鸟群信息传递过程中的短期行为和长期行为。第十四讲：鸟群信息传递的涌现过程（https://campus.swarma.org/course/4117）


短期行为：统一鸟群任意两只鸟运动都会互相有影响，鸟群没有特征尺度。主要是基于这篇论文的介绍：

Scale-free correlations in starling flocks. Andrea Cavagna, Alessio Cimarelli, Irene Giardina, et al. proceedings of the national academy of sciences（2010）


长期行为：鸟群内信息扩散速度是常数，鸟群信息传递是反常扩散现象。主要是基于这篇论文的介绍：

Information transfer and behavioural inertia in starling flocks. Attanasi, Alessandro, Cavagna, et al. nature physics（2014）


第二部分


第七讲：诺奖得主经典文章解读与涌现问题（https://campus.swarma.org/course/3605） 。傅渥成和刘锦涛从帕里西及其合作者们的经典论文出发，介绍复杂系统研究领域数据驱动和模型驱动的两种不同范式，并延伸讨论类似的研究方法在生物分子、大脑、无人机群等复杂系统前沿领域中的应用。

Scale-free correlations in starling flocks. Andrea Cavagna, Alessio Cimarelli, Irene Giardina, et al. proceedings of the national academy of sciences（2010）


第七步：关于自指动力学和自生成结构


为什么在因果涌现的框架下，会讨论到自指的话题呢？关注集智俱乐部的朋友都知道，自指是集智俱乐部长久以来追问的一个重要问题之一，这个问题也和我们一开始谈到的冯·诺依曼问题存在密切联系，自指早期的讨论来源于《哥德尔、艾舍尔、巴赫——集异璧之大成》这本书，我也强烈推荐大家去阅读它： 张江解读GEB的视频（https://campus.swarma.org/course/51）。


而因果涌现结合机器学习框架，有望将自指理论真正的实证化、数学化。关于这部分的内容探讨可以看张老师的分享，当时并没有公开宣传，仅供读书会内部参与的朋友学习讨论： 第十二讲：从自指到自指动力学（https://campus.swarma.org/course/4052） ，重点介绍了自指和因果涌现之间的关系是什么，并且从图灵机可计算性理论的角度介绍自指及其重要性以及关于自指动力学的一些研究工作。


而仇伟祎通过综合、对比地讨论生命起源和自我意识起源等角度来讨论自指的问题，更多讨论可以见，第十三讲：自指与自生成结构（https://campus.swarma.org/course/4078）。


第八步：整合信息论和个体信息论


起源于整合信息论


整合信息论的提出者威斯康辛麦迪逊大学的神经科学家Giulio Tononi是因果涌现提出者 Erik Hoel 的导师，整合信息论提出了一种新的方式探讨意识的机制，即不从大脑的生理细节出发，不直接研究大脑如何产生经验，而是从经验的基本现象学性质出发，提出描述意识基本性质的公理。该理论从内在的角度分析候选机制的因果作用，进而推断出意识的物理基质需要满足的特性，并给出定性与定量评估意识机制的数学框架。


而 Hoel 提出的因果涌现框架是从整合信息论发展出来的一个独立分支，它们的共同之处是都牵扯到了多尺度、因果、互信息度量等概念，也是为了量化意识机制的一种手段。


想要了解整合信息论的信息，可以看南京航空航天大学的何真老师和岳玉涛老师共同分享的关于整合信息论的介绍： 第十一讲：整合信息论（https://campus.swarma.org/course/3914）。


与个体信息理论的结合点


因果涌现的核心概念是有效信息，或互信息。从互信息延展开来已经形成了一系列新的分支，个体信息论便是其中之一。个体信息论是从互信息分解的角度，分析生物系统和环境模型演化，从而定义个体性。关于个体信息论的介绍，可以查看冯田峰的分享： 第十讲：个体信息论（https://campus.swarma.org/course/3865）。


也可以查看集智俱乐部十三维翻译的关于圣塔菲研究所现任所长 David Krakauer 提出的一篇文章：

The information theory of individuality. David Krakauer, Nils Bertschinger, Eckehard Olbrich, et al（2020）


其中翻译的内容可看： 生命是什么？圣塔菲研究所提出“个体信息理论”，重新定义个体生命


 



5. 核心资料推荐




重要学者


  • Erik Hoel

Google Scholar主页：https://scholar.google.com/citations?user=kQX3m7kAAAAJ&hl=en

个人主页：https://www.erikphoel.com/


  • Giulio Tononi

Google Scholar主页：https://scholar.google.com/citations?hl=en&user=x6uUysgAAAAJ

个人主页：https://www.psychiatry.wisc.edu/staff/tononi-giulio/


  • Sara I. Walker

Google scholar主页：https://scholar.google.com/citations?user=-9WfhCYAAAAJ&hl=zh-CN

个人主页：http://emergence.asu.edu/


  • Larissa Albantakis

Google Scholar主页：https://scholar.google.com/citations?hl=en&user=BMW-qgsAAAAJ

个人主页：https://centerforsleepandconsciousness.psychiatry.wisc.edu/people/larissa-albantakis/


其他相关视频课程


北京师范大学陈晓松教授的重整化群理论：重整化群理论，主要讲解了重整化群理论的历史发展与Wilson 提出此理论的关键点。
https://campus.swarma.org/course/1540

集智社区青年科学家郑木华老师的一作文章解读：几何重整化揭示多尺度人脑网络的自相似性，多尺度的人脑网络具有自相似性。基于双曲空间的几何重整化模型很好地解释了多尺度人脑网络的自相似性行为，同时揭示了人脑网络的自相似特性与高效的信息导航密切相关。

https://campus.swarma.org/course/1540


集智社区青年科学家扈鸿业的一作文章解读，通说结合重整化群方法和流模型，开发出可以发现自然作用力的AI“物理学家”，以及具有高可解释性与可控性的计算机视觉生成模型。相关研究发表在 Physical Review Research、Physical Review Letters 等期刊上，本文是对该研究方向的介绍。

https://campus.swarma.org/course/2318



本路径的目标是给出一个学习因果涌现读书会相关视频的顺序，构建全局框架，所以内容围绕视频学习顺序展开。


如果是有经验的科研工作者，可以直接阅读以参考文献为主的路径：

 https://pattern.swarma.org/article/136


所有的回放视频可以在路径右侧找到，也可以点击：

 https://campus.swarma.org/course/3106



因果涌现读书会第二季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。

由北京师范大学教授、集智俱乐部创始人张江和加州大学圣地亚哥分校助理教授尤亦庄等人发起的「因果涌现」系列读书会第二季，将组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。本读书会自2022年5月22日开始，每周日晚19:00举办，预计持续7-8周。欢迎感兴趣的朋友报名参与。


本季读书会详情与报名方式请参考：

因果、涌现与机器学习：因果涌现读书会第二季启动



推荐阅读



点击“阅读原文”，报名读书会