导语

对于工因果涌现与复杂网络的探索是多种维度的工作，本次读书会汇集复杂网络与神经网络等方向对因果涌现的探讨，三位讲者有不同的科研经历，有学术界的思考，也有工作于企业的讲者从自身兴趣角度为大家分享其对于因果涌现的理解，本期读书会时间较长，希望在丰富的分享之中，能够收获因果涌现与复杂网络、神经网络的新思考。

本次分享属于因果涌现读书会的第六期，该读书会是由北京师范大学教授、集智俱乐部创始人张江发起，将在每周六的上午9:00-11:00组织相关主题的论文研讨，希望借助因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具解决跨尺度、跨层次的涌现是复杂系统研究的关键问题，破解复杂系统的涌现规律。欢迎对本话题感兴趣的朋友报名参加！

因果涌现在复杂网络中的应用

导语：

一般简单图上的因果涌现能否推广到更为复杂的网络中？如何量化识别复杂网络中的因果涌现？不同的网络结构属性对因果涌现有什么影响？系统科学专业博士生江水将带你共同梳理关于网络中的因果涌现的一些最新研究进展。

背景：

复杂网络提供了一种有效的建模方式来表征从简单到复杂的复杂系统，而其结构特性分析一直是网络科学关注的重点。网络的连通性包含关于节点之间关系的信息，这些信息可以表征为交互、关系和依赖。然而，我们在处理网络中节点之间的关系所包含的信息方面的研究仍然较少，特别是在既有加权连接又有反馈的网络中。

事实上，我们可以在最合适的、信息量最大的尺度上建模网络，这对于描述节点之间的联系和依赖尤其重要，例如流行病学的接触网络，大脑的神经元和功能网络，或细胞、基因和药物之间的相互作用网络等，因为这些网络通常可以从不同的尺度进行分析。

内容简介：

在本部分内容中，我们主要关注复杂网络中的因果涌现现象，首先从介绍了表征网络信息量的“有效信息”的定义，并指出高信息尺度（即因果涌现现象）存在于不同类型的网络中；进一步，介绍了一种基于谱聚类的有效识别网络中因果涌现的方法，该方法效果显著优于基于贪婪和梯度下降的方法。

主讲人

江水，系统科学专业在读博士生，研究兴趣为复杂系统自动建模、复杂网络的渗流等。

参考资料：

[1] Erik Hoel, Larissa Albantakis, and Giulio Tononi. 2013. “Quantifying Causal Emergence Shows That Macro Can Beat Micro.” Proceedings of the National Academy of Sciences of the United States of America 110 (49): 19790–95.

[2] Brennan Klein and Erik Hoel. 2020. “The Emergence of Informative Higher Scales in Complex Networks.” Complexity 2020 (2020): 1–12.

[3] Ross Griebenow, Brennan Klein, and Erik Hoel. 2019. “Finding the Right Scale of a Network: Efficient Identification of Causal Emergence through Spectral Clustering.” ArXiv Preprint ArXiv:1908.07565.

使用有效信息

度量深度神经网络中的因果结构

导语：

现有的工作已经证明，有效信息理论可以很好的衡量布尔网络、基因网络等多种复杂网络的因果结构强弱，那么能否将其扩展到深度神经网络上呢？如果可以的话，深度神经网络的有效信息又能体现其哪方面的性能呢？本节分享将带你一同探索上述问题。

背景：

深度神经网络已经在语音合成、图像识别、语言翻译等许多领域上取得了很好的成绩。然而我们仍然缺乏对其强大性能背后工作原理的理解。例如，机器学习基本理论表明，参数量足够大的深度神经网络模型极易陷入过拟合，从而缺乏泛化能力。然而实践表明，这种深度神经网络往往具有良好的泛化能力。

在研究深度神经网络时，人们往往更加关心模型输入与输出之间的关系，而忽略了深度神经网络内部的因果结构。实际上，我们也可以从因果科学的角度出发，探索神经网络的各个层次究竟发挥了何种作用。由于因果结构可以反映神经网络面对未知数据的表现，对深度神经网络因果结构强弱的量化表示可以体现其泛化能力。

内容简介：

在这一部分中，我们从信息论出发，介绍一种量化神经网络训因果结构强弱的方法，该方法可以视作有效信息理论在深度神经网络上的扩展。通过使用该方法，我们可以直接观察到深度神经网络在训练过程中整体因果结构的变化，这可能是打开神经网络“黑箱”的关键一步。

主讲人

陈昊，北京师范大学系统分析与集成专业在读硕士生，研究兴趣为复杂系统多尺度建模、因果涌现等。

参考资料：

[1] Hoel, E. P., Albantakis, L., & Tononi, G. (2013). Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences of the United States of America, 110(49), 19790–19795. https://doi.org/10.1073/pnas.1314922110

[2] Marrow, S., Michaud, E. J., & Hoel, E. (2020). Examining the causal structures of deep neural networks using information theory. Entropy, 22(12), 1–14. https://doi.org/10.3390/e22121429

因果涌现与人工智能

导语：

神经元的产生带给软件工程的启发是什么？人工神经网络是否能应用于软件系统自身的智能化？面向方面软件中方面是否是对象的因果涌现？

成都大数流觞科技公司CEO汪林川将带你共同探索生物神经启发的面向方面AOP软件工程，探讨应用因果涌现理论构建智能软件的研究和应用前景。

背景：

软件工程经历了面向过程、面向对象的发展，面向方面Aspect-Oriented Programming是已经被广泛采用，但还是缺乏对软件范式的背后的机制和理论研究。通过类比研究我们提出复杂软件系统“神经元”发生的假说，并用代码进行了仿真。这种假说中，方面Aspect的作用类似生物和ANN中神经元，通过对象与方面Aspect之间的不同连接方式，实现通用的的计算功能。这种软件神经形态学方法使得软件本身成为一种“智能”体, 而不仅仅是实现智能的指令。

但方面Aspect的产生机制目前是通过人工的设计完成，能否实现类似生物神经网络突触之间的连接机制。因果涌现方法和理论提供了初步的启发。

内容简介：

介绍面向方面软件工程与生物神经的对比和联系，介绍因果涌现的基本思想，以及有效信息Effect Information的计算方法与人工智能的结合。

主讲人

汪林川，成都大数流觞科技公司CEO，研究兴趣为面向方面的人工智能等。

参考资料：

[1] Brennan Klein and Erik Hoel. 2020. “The Emergence of Informative Higher Scales in Complex Networks.” Complexity 2020 (2020): 1–12.

[2] Wang, Lin-Chuan, Xue-Fei Tang, and Li-Jia Zhang. “Aspect-oriented: a candidate for the biologically-inspired programming paradigm for neural networks and evolvable software.” Huang et al.[581].

直播信息

时间：

2021年10月02日（周六）上午9:00-11:00

参与方式：

• 集智俱乐部 B 站免费直播
• 付费参加读书会可加入腾讯会议，可提问交流，加入群聊，获取回看地址，成为因果涌现社区种子用户，与170余位因果涌现社区的一线科研工作者沟通交流，共同推动因果涌现社区的发展（点击文末“阅读原文”或扫描下方二维码即可报名）。

扫码报名

因果涌现读书会招募中

跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。由北京师范大学教授、集智俱乐部创始人张江等发起的「因果涌现」系列读书会，将组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。

本次读书会适合的参与对象：

1. 基于复杂系统、人工智能等方法做相关研究的科研工作者

2. 能熟练阅读英文文献，并对复杂科学充满激情，对世界的本质充满好奇的探索者

运行模式：

每周由 1-2 名读书会成员领读相关论文，进行线上闭门读书会，与会者可以广泛参与讨论（以 PPT 讲解的形式，直播间互动交流）。采用的会议软件是腾讯会议。

时间：

从2021年8月14日开始，每周六上午9:00-11:00，持续时间预计 7-8 周。

报名方式：

第一步：扫码填写报名信息

扫码报名

第二步：填写信息后，进入付款流程，提交保证金299元（符合退费条件后可退费）

第三步：添加负责人微信，拉入对应的读书会讨论群

（我们也会对每次分享进行录制，后期发布在集智学园官网上，供读书会成员回看）

本季读书会详情及退费规则请参考：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索

点击“阅读原文”，报名直播