导语


用于两变量间关系的测度“互信息”已经经过了充分的研究，然而，一个变量和一组变量之间的互信息则仍存在探索空间。具体来说，香农的互信息无法捕获三个及以上变量之间的细粒度相互作用。为了更精细地捕捉多变量间的相互作用，2010 年 Williams 和 Beer 提出部分信息分解方法，将互信息分解为信息原子，如特有、冗余的和协同信息。吕奥博等人的一项最新工作，受 Judea Pearl 的 do-calculus 的启发，基于Do操作提供了第一个用于计算信息原子的显式公式，以满足PID公理。

本周五晚的因果涌现读书会将由论文作者，圣路易斯华盛顿大学（WUSTL）系统科学与数学系博士生吕奥博介绍“部分信息分解的显示公式”的具体细节，并尝试基于该方法探讨其背后关于Do操作、信道模型以及因果涌现等概念间的内在联系。读书会于5月10日晚20:00-22:00进行，欢迎感兴趣的朋友参与讨论交流！




内容简介




两个随机变量之间的互信息是一个被广泛研究的概念，然而一个随机变量与另外一对随机变量之间的互信息是一个更加复杂的概念。具体而言，香农互信息并不能捕捉到三个变量之间的精细相互作用，使得在多变量相互作用的复杂系统中的应用有限。

为了更精细地捕捉多变量间的相互作用，2010 年 Williams 和 Beer 提出将这种互信息分解为信息原子，如特有、冗余的和协同原子，并提出了这些原子必须满足的几个操作公理和相关性质。尽管学界已经做出了许多努力，但尚未找到满足这些公理及性质的通用公式。

本次读书会将介绍吕奥博等人的一项最新工作——部分信息分解的显示公式[1]。该工作受 Judea Pearl 的 do-calculus 的启发，通过引入Do操作来尝试解决这个问题。基于Do操作，该工作提供了第一个用于计算信息原子的显式公式，以满足PID的公理，以及该领域后续研究的附加属性。

在本次读书会中，讲者将分享该方法的具体细节，并尝试基于该方法探讨其背后关于Do操作、信道模型以及因果涌现等概念间的内在联系。




内容大纲




高阶关系介绍

-应用场景

-案例

部分信息分解框架

-公理
-性质
基于Do操作的定量方法
-Do 操作
-显式共识
问题及未来方向




核心概念




部分信息分解 Partial Inforamtion Decomposition

Do操作 Do-operation

多元（变量）分析 Multivariate analysis

信道模型 Information Channel





参考文献




[1] Lyu, A., Clark, A., & Raviv, N. (2024). Explicit Formula for Partial Information Decomposition. arXiv preprint arXiv:2402.03554.

[2] Williams, P. L., & Beer, R. D. (2010). Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515.





主讲人




吕奥博，圣路易斯华盛顿大学（WUSTL）系统科学与数学系博士生，研究方向为系统科学、信息论、控制等。
集智斑图个人主页：https://pattern.swarma.org/user/74882




参与方式




直播信息

时间：2024年5月10日（本周五）晚20:00-22:00

报名参与读书会：
斑图链接：https://pattern.swarma.org/study_group_issue/646

扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。


报名成为主讲人：

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：荟萃复杂系统前沿进展，集结因果涌现学术社区：因果涌现读书会第五季启动


因果涌现读书会第五季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。从2021年夏天至今，集智俱乐部已经陆续举办了四季「因果涌现」读书会，系统梳理了因果涌现理论的发展脉络，深入探讨了信息整合与信息分解的本质，并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展，展示集智社区成员的原创性工作，希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处，对复杂系统的涌现现象有更深刻的理解。读书会从2024年4月19日开始，每周五晚20:00-22:00进行，持续时间预计8-10周。欢迎感兴趣的朋友报名参与！



详情请见：
荟萃复杂系统前沿进展，集结因果涌现学术社区：因果涌现读书会第五季启动



因果涌现社区


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。而新兴的因果表征学习、量子因果等领域也将为因果涌现研究注入新鲜血液。


集智俱乐部因果涌现读书会目前已经进行了四季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。


第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：因果、涌现与机器学习：因果涌现读书会第二季启动。


第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用。


第四季读书会主题是「新信息论：从分解到整合」，旨在系统梳理信息论领域的发展脉络，从信息熵的概念开始，逐步梳理各种信息测度的意义及其间的联系，深入理解信息整合与信息分解的本质，为跨学科应用做好准备。请参看：新信息论：从分解到整合｜因果涌现读书会第四季启动。


因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。


因果涌现系列读书会回放视频

第一季：https://pattern.swarma.org/study_group/7
第二季：https://pattern.swarma.org/study_group/16
第三季：https://pattern.swarma.org/study_group/28
第四季：https://pattern.swarma.org/study_group/35
第五季：https://pattern.swarma.org/study_group/43

因果涌现社区共创，因果涌现主题文章



点击“阅读原文”，报名读书会