理解复杂系统的中观视角：信息流的模式及其分解丨周日直播·因果涌现读书会

导语

本次读书会基于《 Modes of information flows》和《 Information Flows? A Critique of Transfer Entropies》两篇论文的解读，对基于密码学的信息流拆分方法和「多对一」信息流的重要性进行探讨。

因果涌现读书会第二季主要围绕追根溯源、因果涌现、因果表示学习、机器学习多尺度自动建模、量子因果五大主题来探寻涌现、因果科学和机器学习这三大主题之间的联系。自2022年5月22日开始，每周日晚上19:00-21:00举办，持续时间预计 7-8周。欢迎对本话题感兴趣的朋友报名参加！

跟读书会主题之间的关系

因果涌现包含有两个重要部分——因果，以及有效信息。信息流的分解恰恰与此有关。传统的计算信息流的方法中，有时滞互信息、转移熵，以及因果熵，这就与因果有一定的关系。同时，有效信息也是在度量信息的流动，而区分信息流的不同模式，可以帮助我们对此做更深入的理解。复杂系统包含大量的节点与个体。在理解个体行为的细节之前，如果能够知道其信息流动的路径，即便没有具体的动力学，也可以帮助我们理解、建模复杂系统。例如，在分析基因调控网络的时候，常常首先分析其信息流动，然后再进一步分析具体的动力学。

报告内容简介

理解复杂系统常常需要一个合适的中观尺度，而信息流经常较为合适。复杂系统之所以复杂，原因之一，就在于其有复杂的信息处理过程。而观察系统中信息的流动，则可以让我们对复杂系统有一个整体的把握。信息流的视角，抛弃具体的动力学细节，从信息入手，简化了很多问题。然而，我们常常认为信息流就是一个「一对一」的一阶过程，即从A到B这样的过程。但实际上，信息流还会存在更高阶的过程，例如从A B到C。这就涉及了信息流的不同模式。这次分享的两篇文章就从这些模式出发，提出了基于密码学的信息流拆分方法。同时，文章还探讨了「多对一」信息流的重要性。

大纲

信息的流动

为什么要测量信息流
熵与信息
互信息
使用互信息度量信息流：时滞互信息
转移熵

信息流的不同模式

三种信息流
传统方法的问题：都混淆了部分信息流

来自密码学的方法

信息流与加密通信
密钥一致率
真正地拆分不同信息
在S&P500数据上的实验

不同信息流的启发

多对多的关系非常重要

【主要涉及到的知识概念】

基本的信息论与概率论知识：熵 entropy、互信息 mutual information、条件概率 conditional probability

主讲人介绍

章彦博，毕业于中国科学技术大学物理学院。现为亚利桑那州立大学博士生，研究方向包括复杂系统与机器学习。

参考文献

[1]James, R. G. , et al. “Modes of Information Flow.” (2018).

[2] James, R. G. , N. Barnett , and J. P. Crutchfield . “Information Flows? A Critique of Transfer Entropies.” Physical Review Letters 116.23(2015):238701.