导语


北京时间10月5日下午，2021年诺贝尔物理学奖揭晓，三位科学家因复杂系统研究贡献而获奖。真锅淑郎（Syukuro Manabe）和克劳斯·哈塞尔曼（Klaus Hasselmann）因为“地球气候的物理建模，量化可变性并可靠地预测全球变暖”的研究共享了诺贝尔物理学奖的一半奖金。乔治·帕里西（Giorgio Parisi）因为“发现了从原子尺度到行星尺度的物理系统中的无序和涨落的相互作用”而获得了诺贝尔物理学奖的另一半奖金。


此次诺奖所涉及到的跨尺度复杂系统研究，正是集智俱乐部「因果涌现」读书会所关注的。跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。「因果涌现」系列读书会由北京师范大学教授、集智俱乐部创始人张江等发起，组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。


读书会线上进行，8月14日开始，每周六上午9:00-11:00，持续时间预计 2-3 个月。计划中的分享结束后，读书会社群仍长期可报名参与。


涌现现象无非是复杂系统中诸多现象中最神秘莫测的一个。所谓的涌现就是指复杂系统在宏观所展现出来的，无法归约到微观的特性或规律。具有一定自我意识的生命的出现，无非又是复杂系统诸多涌现现象中更加令人啧啧称奇的一种。


想象一下，一群无生命的分子在那里胡乱地碰撞组成了一只小虫子的躯体，这支小生命便可以在它那“自我意识”的支配下自由行动。仿佛作用于那群分子身上的物理化学法则就像是不存在了一样，小虫体内的自我成为了因果之力的另一个源头，一切都在小虫的掌控中。古人曾用生命力、气或灵魂解释这一现象，然而复杂科学却笃信这些均来自于涌现，只不过生命力的涌现会比一般的涌现更加强大。那么，活灵活现的自由生命又是如何从一团死气乱撞的分子之中涌现而出的呢？


近期，“因果涌现”理论为这种跨层次的奇妙涌现现象提供了一种新的可能解释途径。简单来说，所谓的因果涌现理论就是在说某些特殊系统的宏观层面是有可能自发产生出超越微观动力学的新的因果箭头的。这句话听着很费解，那不妨来看看这幅画吧：


摘自《哥德尔、艾舍尔、巴赫——集异璧之大成》


你看到了什么字？简化论？整体论？还是个无字？其实它们都对，也都略有所失。问题的关键就在于，我们人是可以从不同的尺度来观察事物的，而这幅画在不同的尺度却编码了完全不同的信息。这幅画就仿佛是多个平行宇宙的混合物，每一个层次都并行不悖地表达着自己的意思。


问题的关键就在于层次。而因果涌现理论超越前人之处也正是把握住了这一点。通过跨层次的粗粒化（Coarse-graining, 或称重整化Renormalization）操作，我们便可以在同一个动力学系统上在不同的尺度得到完全不同的动力学。然而，粗粒化长久都是一个技术活，你的粗粒化方案一旦设计不好，便有可能得不到你想要的性质。值得庆幸的是，近年来深度学习技术的发展使得普适的粗粒化方案成为了可能。更进一步，有关文献又指出，对于类似于生命这样的系统来说，粗粒化后的宏观状态是可以构成制约整个系统动力学法则的编码的。也就是说，这个系统的宏观态便是该系统的动力学规则，这样的系统被称为“自指动力学”（self-referential dynamics）。


有趣的是，有关这些方面的文献已经零零散散地出现在不同的期刊上，那么，如果我们将所有这些零散的发现串联在一起，便有望获得回答“生命涌现”这一问题的回答了。这便有了这个“因果涌现”的读书会。


具体地，本读书会将综合阅读如下方面的文献：
  • 因果涌现理论
  • 涌现理论
  • 重整化与机器学习
  • 自指动力学
  • 整合信息论（近年来比较火爆的意识理论）

  • 多尺度建模


欢迎感兴趣的同学讨论相关文献的，并且有兴趣做相关研究的同学加入。





1. 读书会介绍




复杂系统自动建模是通过数据驱动，使用机器学习或其他算法，去找到复杂系统的相互作用的关系以及动力学法则，从而对整个系统进行建模的技术。此前，我们已经展开了三季复杂系统自动建模主题的读书会，此次读书会属于复杂系统自动建模读书会的第四季。


以下框架为暂定框架，会根据读书会实际进展过程中遇到的问题和重点，进行动态调整，请以实际问题为主。


时间

内容

8.14

读书会背景意义&综述

8.21

重整化方法

8.28

因果涌现理论（上）

9.4

因果涌现理论及应用（下）

9.11

涌现

9.18

机器学习重整化

9.25

自指动力学相关

10.2

多尺度建模

10.9

Sloopy model或其它


第一讲：涌现、因果、自指——因果涌现读书会简介


艾舍尔版画《画廊》


在通常的复杂系统研究中，我们往往选择从系统的某一个尺度入手建立模型。然而，复杂系统诸多神秘现象和涌现规律恰恰是在多尺度跨越的过程之中出现的。因此，如果要对涌现、因果以及自指等性质有更深入的研究，层次跨越是一种必不可少的步骤。近期发展起来的一些理论与工具，包括因果涌现理论、机器学习驱动的重整化技术，以及自指动力学正在发展一套跨尺度的分析框架，有了这个框架，我们不仅可以将因果、涌现、自指等深奥概念连接起来，还有可能破解注入生命与意识如何涌现这一终极难题。


在本次讲座中，张江教授将与你一起分享这一激动人心的进展。他将首先从微观态与宏观态的视角回顾涌现现象的由来，并指出生命与自我意识是一种更高级别的涌现。其次，他将简要介绍因果涌现理论，带你领略它是如何从多尺度的角度将因果和涌现这两个概念结合在一起的。最后，他将提到有关重整化理论、自指动力学，指出为什么说将机器学习与因果涌现结合起来将有望破解生命与意识之谜。


主讲人：张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。


  • E. P. Hoel, L. Albantakis, and G. Tononi. “Quantifying Causal Emergence Shows That Macro Can Beat Micro.” Proceedings of the National Academy of Sciences 110, no. 49 (December 3, 2013): 19790–95. https://doi.org/10.1073/pnas.1314922110.

  • Li, Shuo-Hui, and Lei Wang. “Neural Network Renormalization Group.” Physical Review Letters 121, no. 26 (December 26, 2018). https://doi.org/10.1103/PhysRevLett.121.260601.

  • Tononi, Giulio, Melanie Boly, Marcello Massimini, and Christof Koch. “Integrated Information Theory: From Consciousness to Its Physical Substrate.” Nature Reviews Neuroscience 17, no. 7 (July 2016): 450–61. https://doi.org/10.1038/nrn.2016.44.

  • Sara Imari Walker. Evolutionary Transitions and Top-Down Causation[A]. Proceedings of the ALIFE 2012: The Thirteenth International Conference on the Synthesis and Simulation of Living Systems[C]. East Lansing, Michigan: ASME, 2012, 283-290. https://doi.org/10.1162/978-0-262-31050-5-ch038

  • 侯世达：哥德尔、艾舍尔、巴赫——集异璧之大成[M].《哥德尔、艾舍尔、巴赫——集异璧之大成》翻译组，译. 商务印书馆, 1996.

  • Kim Christensen, Nicholas R Moloney : Complexity and Criticality, Imperial College Press, 2005. https://doi.org/10.1142/p365





2. 发起人介绍&读书会发起人




发起人：
张江
北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。其开创的集智俱乐部是国内外知名的学术社区，致力于复杂系统、人工智能等多领域的跨学科交流与合作。

联合发起人：
尤亦庄

加州大学圣地亚哥分校助理教授。主要研究领域：量子多体物理，及其演生现象和临界现象。

仇玮祎

分子遗传学博士，集智科学家。曾从事抗体药物研发多年，目前研究方向是生命起源与系统生物学。


章彦博
毕业于中国科学技术大学凝聚态物理系，美国亚利桑那州立大学 复杂系统博士在读，集智-凯风研读营学者，研究方向：统计物理、复杂系统等，曾在瑞典Karolinska医学院进行访问交流。

张章
北京师范大学系统科学学院博士在读。研究兴趣集中于复杂网络与深度学习的交叉领域，具体包括网络重构问题，Graph上的优化问题等。




3. 参与方式和时间




本次读书会适合的参与对象：

1. 基于复杂系统、人工智能等方法做相关研究的科研工作者；

2. 能熟练阅读英文文献，并对复杂科学充满激情，对世界的本质充满好奇的探索者。


运行模式：
每 1 周由 1-2 名读书会成员领读相关论文，进行线上会议，与会者可以广泛参与讨论（以 PPT 讲解的形式，直播间互动交流）。

时间：
从2021年8月14日开始，每周六上午9:00-11:00，持续时间预计 7-8 周。

方式：
此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。

费用：
为了过滤一些非专业人士，甄选出真正对社会计算研究感兴趣、有相关研究经验的专业人士，保证读书会研讨质量，也为了激励大家学习、分享、总结，本期读书会将采取收费 – 退款的保证金模式。

具体规则：
1. 读书会（7-8期）保证金共计 299 元/人。

2. 满足如下条件之一者全额退款（本季读书会结束后统一退费）：

  • 贡献了一次讲座（1小时左右）内容的（需要提前向主持人申请并通过试讲）；
  • 完成了一篇以上读书笔记写作，并在集智俱乐部公众号分享。（读书笔记标准：字数3千以上，图文并茂，具体请参照此文：前沿综述：大脑结构网络、功能网络和网络控制中的物理学）；

  • 认真完成集智百科相应的编撰任务，经过集智百科团队审核通过，并达到299积分。（详情见https://wiki.swarma.org/index.php?title=激励制度）


3. 满足以下条件之一的不仅可以全额退款，还有额外奖励：

  • 由读书会内容启发，产生了靠谱的新产品创意，并在读书会结束 2 个月内提交了详细的产品策划方案，并通过了集智俱乐部组织的相应考核答辩的；

  • 由读书会内容启发，萌发了科研论文创意，在读书会结束 2 个月内完成初稿，并在最终的论文成果中致谢集智俱乐部的（需要发表在SCI等核心刊物上）。


上述规则的最终解释权归集智俱乐部所有。





4. 报名方式




扫码报名

第一步：扫码填写报名信息

第二步：填写信息后，进入付款流程，提交保证金299元。（符合退费条件后可退费）

第三步：添加负责人微信，拉入对应的读书会讨论群
（我们也会对每次分享的内容进行录制，剪辑后发布在集智学园官网上，供读书会成员回看）




5. 论文阅读清单




I. 因果涌现理论

  • Cosma Rohilla Shalizi and Cristopher Moore. “What Is a Macrostate? Subjective Observations and Objective Dynamics.” ArXiv:Cond-Mat/0303625, March 29, 2003. http://arxiv.org/abs/cond-mat/0303625.

  • Erik Hoel. “When the Map Is Better Than the Territory.” Entropy 19, no. 5 (April 26, 2017): 188. https://doi.org/10.3390/e19050188

  • E. P. Hoel, L. Albantakis, and G. Tononi. “Quantifying Causal Emergence Shows That Macro Can Beat Micro.” Proceedings of the National Academy of Sciences 110, no. 49 (December 3, 2013): 19790–95. https://doi.org/10.1073/pnas.1314922110.

  • Thomas Varley and Erik Hoel. Emergence as the conversion of information: A unifying theory[J]. https://arxiv.org/pdf/2104.13368.pdf

  • L. Barnett and A. K. Seth. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems[J]. https://arxiv.org/pdf/2106.06511.pdf

  • Fernando E. Rosas, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. https://arxiv.org/abs/2004.08220


II. 因果涌现应用

  • Klein, Brennan, and Erik Hoel. “The Emergence of Informative Higher Scales in Complex Networks.” ArXiv:1907.03902 [Physics], January 21, 2020. http://arxiv.org/abs/1907.03902.
  • Klein, Brennan, and Erik Hoel. “Uncertainty and Causal Emergence in Complex Networks.” ArXiv:1907.03902 [Physics], July 8, 2019. http://arxiv.org/abs/1907.03902.
  • Griebenow, Ross, Brennan Klein, and Erik Hoel. “Finding the Right Scale of a Network: Efficient Identification of Causal Emergence through Spectral Clustering.” ArXiv:1908.07565 [Physics], August 20, 2019. http://arxiv.org/abs/1908.07565.
  • Simon Mattsson, Eric J. Michaud, and Erik Hoel. “Examining the Causal Structures of Deep Neural Networks Using Information Theory.” ArXiv:2010.13871 [Cs], October 26, 2020. http://arxiv.org/abs/2010.13871.
  • Hoel, Erik, and Michael Levin. “Emergence of Informative Higher Scales in Biological Systems: A Computational Toolkit for Optimal Prediction and Control.” Communicative & Integrative Biology 13, no. 1 (January 1, 2020): 108–18. https://doi.org/10.1080/19420889.2020.1802914.
  • Chvykov, Pavel, and Erik Hoel. “Causal Geometry.” ArXiv:2010.09390 [Hep-Th, Physics:Physics], October 19, 2020. http://arxiv.org/abs/2010.09390.
  • Bogdan-Eduard-MădălinMursa，LauraDioşan，AncaAndreica：Network motifs: A key variable in the equation of dynamic flow between macro and micro layers in Complex Networks，Knowledge-Based Systems Volume 213, 15 February 2021, 106648


III. 相关

Sloopy models

  • Sloopy Model: https://www.lassp.cornell.edu/sethna/Sloppy/

  • Gutenkunst, Ryan N., Joshua J. Waterfall, Fergal P. Casey, Kevin S. Brown, Christopher R. Myers, and James P. Sethna. “Universally Sloppy Parameter Sensitivities in Systems Biology Models.” PLoS Computational Biology 3, no. 10 (2007): e189. https://doi.org/10.1371/journal.pcbi.0030189.

  • Machta, B. B., R. Chachra, M. K. Transtrum, and J. P. Sethna. “Parameter Space Compression Underlies Emergent Theories and Predictive Models.” Science 342, no. 6158 (November 1, 2013): 604–7. https://arxiv.org/pdf/1303.6738.


Machine Learning and Renormalization

  • Li, Shuo-Hui, and Lei Wang. “Neural Network Renormalization Group.” Physical Review Letters 121, no. 26 (December 26, 2018). https://doi.org/10.1103/PhysRevLett.121.260601.

  • HY Hu, SH Li, L Wang, YZ You Machine learning holographic mapping by neural network renormalization group  – Physical Review Research, 2020. https://journals.aps.org/prresearch/pdf/10.1103/PhysRevResearch.2.023369

  • Hong-Ye Hu, Dian Wu, Yi-Zhuang You, Bruno Olshausen, Yubei Chen: RG-Flow: A hierarchical and explainable flow model based on renormalization group and sparse prior, https://arxiv.org/pdf/2010.00029.pdf

  • Koch-Janusz, M., Ringel, Z. Mutual information, neural networks and the renormalization group. Nature Phys 14, 578–582 (2018). https://www.nature.com/articles/s41567-018-0081-4

  • Shuo-Hui Li : Learning Non-linear Wavelet Transformation via Normalizing Flow, https://arxiv.org/abs/2101.11306


Information theory

  • Tononi, Giulio, Melanie Boly, Marcello Massimini, and Christof Koch. “Integrated Information Theory: From Consciousness to Its Physical Substrate.” Nature Reviews Neuroscience 17, no. 7 (July 2016): 450–61. https://doi.org/10.1038/nrn.2016.44.

  • David Krakauer: The information theory of individuality, https://link.springer.com/article/10.1007/s12064-020-00313-7#Sec10


Others

  • Packard, N. H., J. P. Crutchfield, J. D. Farmer, and R. S. Shaw. “Geometry from a Time Series.” Physical Review Letters 45, no. 9 (September 1, 1980): 712–16. https://doi.org/10.1103/PhysRevLett.45.712.

  • Shalizi, Cosma Rohilla, Kristina Lisa Shalizi, and James P. Crutchfield. “An Algorithm for Pattern Discovery in Time Series.” ArXiv:Cs/0210025, November 26, 2002. http://arxiv.org/abs/cs/0210025.


Defining of Emergence

  • Kim J. Emergence: Core ideas and issues[J]. Synthese, 2006, 151(3): 547-559.

  • Kivelson S, Kivelson S A. Defining emergence in physics[J]. NPJ Quantum Materials, 2016, 1(1): 1-2.

  • Bonabeau E. Predicting the unpredictable[J]. Harvard Business Review, 2002, 80(3): 109-116.


Use of emergence

  • Holman P. Engaging emergence: Turning upheaval into opportunity[M]. Berrett-Koehler Publishers, 2010.


IV. 自指

  • Naoto Kataoka and Kunihiko Kaneko. Functional Dynamics. I: Articulation Process[J]. Physica D: Nonlinear Phenomena, 2000,138(3-4): 225–50. https://doi.org/10.1016/S0167-2789(99)00230-4.
  • Naoto Kataoka and Kunihiko Kaneko. Functional Dynamics: II: Syntactic Structure[J]. Physica D: Nonlinear Phenomena, 2001,149(3): 174–196. https://doi.org/10.1016/S0167-2789(00)00203-7.
  • Walker, S. I., Cisneros, L., and Davies, P. C. W.. Evolutionary Transitions and Top-Down Causation[A]. Proceedings of the ALIFE 2012: The Thirteenth International Conference on the Synthesis and Simulation of Living Systems[C]. East Lansing, Michigan: ASME, 2012, 283-290. https://doi.org/10.1162/978-0-262-31050-5-ch038
  • Theodore P. Pavlic, Alyssa M. Adams, Paul C. W. Davies, et al. Self-referencing cellular automata: A model of the evolution of information control in biological systems[J]. 2014. https://arxiv.org/pdf/1405.4070.pdf
  • Nomura T. Formal description of autopoiesis for analytic models of life and social systems[C]//Proc. 8th Int. Conf. Artificial Life (ALIFE VIII). 2002: 15-18. https://dl.acm.org/doi/10.5555/860295.860299
  • Hofmeyr J H S. A biochemically-realisable relational model of the self-manufacturing cell[J]. Biosystems, 2021: 104463.
  • Letelier, J. C., Marı́n, G., & Mpodozis, J. (2003). Autopoietic and (M,R) systems. Journal of Theoretical Biology, 222(2), 261–272. doi:10.1016/s0022-5193(03)00034-1
  • Gánti T. Chemoton theory: theory of living systems[M]. Springer Science & Business Media, 2003.




6. 关于主办方和集智俱乐部读书会




主办方：集智俱乐部
协办方：集智学园

集智俱乐部成立于 2003 年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 “没有围墙的研究所 ”。

集智学园成立于2016年，是集智俱乐部孕育的创业团队。集智学园致力于传播复杂性科学、人工智能等前沿知识和新兴技术，促进、推动复杂科学领域的知识探索与生态构建。

集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，了解前沿进展，激发科研灵感，促进科研合作，降低科研门槛。

读书会活动始于 2008 年，至今已经有 40 余个主题，内容涵盖复杂系统、人工智能、脑与意识、生命科学、因果科学、计算社会科学等。凝聚了众多优秀科研工作者，促进了科研合作发表论文，孵化了许多科研产品。如：2013 年的“深度学习”读书会孕育了彩云天气 APP，2015 年的“集体注意力流”读书会产生了众包书籍《走近2050》等。


点击“阅读原文”，即可报名读书会