导语


本次分享将介绍多个源（source）变量作用于一个目标（target）变量时的一些信息分解工具，我们将从互信息出发，进一步讨论多变量情况下的互信息面临的困境，并引入信息的非负分解方法来更好的理解多对一情况下的信息结构。此外，我们还将介绍此方法再Ising model和元胞自动机这类典型复杂系统中的应用，了解这一方法可以如何帮助我们对已经相对透彻研究的复杂系统带来新的洞察。


因果涌现读书会第二季主要围绕追根溯源、因果涌现、因果表示学习、机器学习多尺度自动建模、量子因果五大主题来探寻涌现、因果科学和机器学习这三大主题之间的联系。自2022年5月22日开始，每周日晚上19:00-21:00举办，持续时间预计 7-8周。欢迎对本话题感兴趣的朋友报名参加！






背景介绍




从某种视角来看，复杂系统可以被看做存在相互作用的多变量系统。而信息论视角是理解变量之间响应相关系的重要视角，因此人们发明并拓展了一系列方法，将信息理论的思维应用对复杂系统的理解上。例如，针对两个变量之间的相互作用，我们可以使用互信息来衡量当一个变量被观测后，另一个变量的不确定性（熵）的减少。但这种工具的适用场景相当有限，当变量数量增多，其相互作用机制变得复杂时，简单的互信息便不能够处理这种情况了。因此，为了理解多变量相互作用情况下的信息结构，人们对互信息做了一系列拓展，发明了多种新的工具以分析复杂的相互作用，并试图将这些工具应用于对复杂系统的理解中。





报告内容简介




本次分享主要讨论三部分内容，在第一部分我们将用几个例子来理解为什么信息分解可以帮助我们理解复杂系统。在第二部分我们将介绍一种名为Partial Information Decomposition（PID）的方法，来帮助我们具体计算各部分信息量的具体数值，并进一步拓展信息的结构。在第三部分我们将介绍PID方法在ISING Model和元胞自动机的应用，通过对这类演化复杂系统进行信息分解，我们可以进一步了解在这类复杂系统运转时，信息是如何流动的。





大纲




  • 信息分解的潜在应用场景和意义

  • Partial  Information Decomposition方法

  • 信息分解在两类复杂系统中的应用





主讲人介绍




张章，北京师范大学系统科学学院博士在读。研究兴趣集中于复杂网络与深度学习的交叉领域，具体包括网络重构问题，Graph上的优化问题等。

参考文献

[1] Williams, P. L. , and  R. D. Beer . “Nonnegative Decomposition of Multivariate Information.” (2010).

[2] Sootla, S. ,  D. O. Theis , and  R. Vicente . “Analyzing Information Distribution in Complex Systems.” Entropy 19.12(2017):636.





直播信息




直播时间：

2022年5月29日（周日）晚上19:00-21:00


参与方式：

  • 集智俱乐部 B 站免费直播，扫码可预约：

扫码预约

  • 文末扫码付费参加因果涌现读书会第二季可加入腾讯会议，可提问交流，加入群聊，获取回看地址及更多学习资料，成为因果涌现社区种子用户，与因果涌现社区的一线科研工作者沟通交流，共同推动因果涌现社区的发展。


因果涌现读书会第二季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。


由北京师范大学教授、集智俱乐部创始人张江和加州大学圣地亚哥分校助理教授尤亦庄等人发起的「因果涌现」系列读书会第二季，将组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。本读书会自2022年5月22日开始，每周日晚19:00举办，预计持续7-8周。欢迎感兴趣的朋友报名参与。


本季读书会详情与报名方式请参考：
因果、涌现与机器学习：因果涌现读书会第二季启动


点击“阅读原文”，报名直播