导语


本次读书会基于《 Modes of information flows》和《 Information Flows? A Critique of Transfer Entropies》两篇论文的解读，对基于密码学的信息流拆分方法和「多对一」信息流的重要性进行探讨。


因果涌现读书会第二季主要围绕追根溯源、因果涌现、因果表示学习、机器学习多尺度自动建模、量子因果五大主题来探寻涌现、因果科学和机器学习这三大主题之间的联系。自2022年5月22日开始，每周日晚上19:00-21:00举办，持续时间预计 7-8周。欢迎对本话题感兴趣的朋友报名参加！





跟读书会主题之间的关系




因果涌现包含有两个重要部分——因果，以及有效信息。信息流的分解恰恰与此有关。传统的计算信息流的方法中，有时滞互信息、转移熵，以及因果熵，这就与因果有一定的关系。同时，有效信息也是在度量信息的流动，而区分信息流的不同模式，可以帮助我们对此做更深入的理解。复杂系统包含大量的节点与个体。在理解个体行为的细节之前，如果能够知道其信息流动的路径，即便没有具体的动力学，也可以帮助我们理解、建模复杂系统。例如，在分析基因调控网络的时候，常常首先分析其信息流动，然后再进一步分析具体的动力学。

 



报告内容简介




理解复杂系统常常需要一个合适的中观尺度，而信息流经常较为合适。复杂系统之所以复杂，原因之一，就在于其有复杂的信息处理过程。而观察系统中信息的流动，则可以让我们对复杂系统有一个整体的把握。信息流的视角，抛弃具体的动力学细节，从信息入手，简化了很多问题。然而，我们常常认为信息流就是一个「一对一」的一阶过程，即从A到B这样的过程。但实际上，信息流还会存在更高阶的过程，例如从A B到C。这就涉及了信息流的不同模式。这次分享的两篇文章就从这些模式出发，提出了基于密码学的信息流拆分方法。同时，文章还探讨了「多对一」信息流的重要性。

 



大纲




  • 信息的流动

    • 为什么要测量信息流

    • 熵与信息

    • 互信息

    • 使用互信息度量信息流：时滞互信息

    • 转移熵

  • 信息流的不同模式

    • 三种信息流

    • 传统方法的问题：都混淆了部分信息流
  • 来自密码学的方法
    • 信息流与加密通信
    • 密钥一致率
    • 真正地拆分不同信息
    • 在S&P500数据上的实验
  • 不同信息流的启发
    • 多对多的关系非常重要

【主要涉及到的知识概念】

基本的信息论与概率论知识：熵 entropy、互信息 mutual information、条件概率 conditional probability


 



主讲人介绍




章彦博，毕业于中国科学技术大学物理学院。现为亚利桑那州立大学博士生，研究方向包括复杂系统与机器学习。


参考文献

[1]James, R. G. , et al. “Modes of Information Flow.” (2018).
[2] James, R. G. ,  N. Barnett , and  J. P. Crutchfield . “Information Flows? A Critique of Transfer Entropies.” Physical Review Letters 116.23(2015):238701.




直播信息




直播时间：

2022年6月19日（周日）早上10:00-12:00


参与方式：

  • 集智俱乐部 B 站免费直播，扫码可预约：

扫码预约

  • 文末扫码付费参加因果涌现读书会第二季可加入腾讯会议，可提问交流，加入群聊，获取回看地址及更多学习资料，成为因果涌现社区种子用户，与因果涌现社区的一线科研工作者沟通交流，共同推动因果涌现社区的发展。


因果涌现读书会第二季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。


由北京师范大学教授、集智俱乐部创始人张江和加州大学圣地亚哥分校助理教授尤亦庄等人发起的「因果涌现」系列读书会第二季，将组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。本读书会自2022年5月22日开始，每周日晚19:00举办，预计持续7-8周。欢迎感兴趣的朋友报名参与。


本季读书会详情与报名方式请参考：
因果、涌现与机器学习：因果涌现读书会第二季启动


点击“阅读原文”，报名直播