导语


本周日（1月7日）上午9:00-11:00，因果涌现读书会第四季第五期将由圣路易斯华盛顿大学（WUSTL）系统科学与数学系研究生吕奥博分享，介绍信息测度的前沿领域——信息分解，探讨信息分解相关框架，包括部分信息分解（PID）、部分熵分解（PED）、系统信息分解（SID），以及如何更细粒度地描述系统内信息的交互。







内容简介




在第三期的读书会中我们回顾了主流的信息测度并留下了交互信息为负的伏笔。本期读书会我们将关注信息测度的前沿领域——信息分解，探讨信息分解相关框架如何更细粒度地描述系统内信息的交互。

具体而言，我们将梳理经典的信息分解（Partial Information Decomposition，PID）框架，理解冗余、协同以及特有信息原子的物理意义，探讨信息分解框架的公理与计算方法间的关系。在此基础上，我们会关注两个基于PID实现信息原子对称性的信息分解框架——部分熵分解（Partial Entropy Decomposition，PED）以及系统信息分解（System Information Decomposition，SID），并将分解所得到的信息原子与现有信息测度进行关联，从而更直观的理解信息分解在信息测度领域的定位以及贡献。


本期读书会定位为本季读书会基础理论部分的第二期，将会直观地梳理信息分解领域的产生以及发展，并为之后的整合信息分解提供铺垫。





内容大纲




  1. 部分信息分解（PID）

    • 信息原子

    • 公理与计算

  2. 框架推广

    • 部分熵分解（PED）

    • 系统信息分解（SID）

  3. 讨论

    • 现有测度的分解

    • 潜在问题





核心概念




  • 部分信息分解 Partial Information Decomposition

  • 冗余信息 Redundant Information

  • 协同信息 Synergistic Information

  • 特有信息 Unique Information

  • 冗余晶格 Redundancy lattice

  • 部分熵分解 Partial Entropy Decomposition

  • 系统信息分解 System Information Decomposition





主讲人简介




吕奥博，圣路易斯华盛顿大学（WUSTL）系统科学与数学系博士生，研究方向为系统科学、信息论、控制等。
学者主页：https://pattern.swarma.org/user/74882





直播信息




时间：2024年1月7日（本周日）上午9:00-11:00

参与方式：


斑图链接：https://pattern.swarma.org/study_group_issue/598


扫码参与因果涌现读书会，加入群聊，获取系列读书会回看权限，加入因果涌现社区，与社区的一线科研工作者沟通交流，共同推动因果涌现这一前沿领域的发展。




参考文献



[1] Williams, P. L., & Beer, R. D. (2010). Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515.

提出信息分解的文章，介绍了部分信息分解PID框架，并提出了第一个（数值类）计算方法，也是目前最经典的方法。

[2] Ince, R. A. (2017). The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal. arXiv preprint arXiv:1702.01591.
[3] Lyu, A., Yuan, B., Deng, O., Yang, M., Clark, A., & Zhang, J. (2023). System Information Decomposition. arXiv preprint arXiv:2306.08288.

提出系统信息分解SID，这是一个在PID框架基础之上拓展框架，能够以一个全局的视角来观察多元变量的各种信息熵指标。




相关资料




因果涌现读书会第二季分享

  • 吕奥博：关于信息分解框架的讨论https://pattern.swarma.org/study_group_issue/249https://pattern.swarma.org/study_group_issue/255

  • 张章：信息分解方法及其在复杂系统中的应用https://pattern.swarma.org/study_group_issue/227


新信息论：从分解到整合

因果涌现读书会第四季招募中


什么是意识？意识能否度量？机器能否产生意识？对于意识问题，人们可能即将迎来一个大的突破，各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论（IID）被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果，那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别，除了 Erik Hoel 的有效信息因果涌现框架，还有一个是 Rosas 的信息分解（PID）框架，此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID，尝试构建新的意识理论。


一边是信息整合（IIT），一边是信息分解（PID），看似分裂，实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「新信息论：从分解到整合」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起，旨在梳理信息论领域的发展脉络，从香农的经典信息论开始，重点关注整合信息论和信息分解这两个前沿话题，及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨，帮助我们理解什么是意识，什么是涌现，并找到不同学科，不同问题背后的统一性原理。



详情请见：
新信息论：从分解到整合｜因果涌现读书会第四季启动


因果涌现社区


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。


集智俱乐部因果涌现读书会目前已经进行了三季。第一季读书会系统地梳理了因果涌现的概念，以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系，也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看：因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索。


第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合，包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看：因果、涌现与机器学习：因果涌现读书会第二季启动。


第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行探讨和剖析，并详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。请参看：因果涌现读书会第三季启动：深入多尺度复杂系统核心，探索因果涌现理论应用


此次读书会主题是「新信息论：从分解到整合」，是因果涌现系列读书会的第四季，将重点梳理信息分解与整合信息论的相关研究。请参看：新信息论：从分解到整合｜因果涌现读书会第四季启动


因果涌现社区聚集了600+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，解锁对应录播权限。


因果涌现读书会回放视频
第一季：https://pattern.swarma.org/study_group/7
第二季：https://pattern.swarma.org/study_group/16
第三季：https://pattern.swarma.org/study_group/28
第四季：https://pattern.swarma.org/study_group/35

因果涌现社区共创的文章



点击“阅读原文”，报名读书会