高斯部分信息分解:误差校正及应用于高维数据 |周日直播·因果涌现读书会第四季
导语
在集智俱乐部「因果涌现」读书会第四季本周日(2月25日)的分享中,北京师范大学系统科学学院硕士生刘凯威将解读一篇 NeurIPS 2023 spotlight 关于部分信息分解(PID)的论文,该论文提出一种新方法来有效地计算和估计多元高斯分布上的PID定义——高斯PID。欢迎感兴趣的朋友参与!
内容简介
内容简介
论文题目:Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data 论文地址:https://openreview.net/forum?id=1PnSOKQKvq
内容大纲
内容大纲
-
信息分解回顾
-
信息熵与互信息
-
信息分解
-
高斯信息分解
-
高斯分布下的信息熵与互信息
-
高斯信息分解的计算
-
典型高斯分布案例
-
信息分解特例
-
高维数据信息分解
-
偏差度量
-
实际案例——神经数据
核心概念
核心概念
-
部分信息分解 Partial Information Decomposition
-
协同信息 Synergystic information
-
特有信息 Unique information
-
冗余信息 Redundant information
-
高斯分布 Gaussian distribution
-
高斯信息分解 Gaussian Partial Information Decomposition
主讲人简介
主讲人简介
参与方式
参与方式
参考文献
参考文献
新信息论:从分解到整合
因果涌现读书会第四季招募中
什么是意识?意识能否度量?机器能否产生意识?对于意识问题,人们可能即将迎来一个大的突破,各种有关意识的理论正如雨后春笋般展现出勃勃生机。其中神经科学家 Giulio Tononi 的整合信息论(IID)被认为是最有前景的意识理论之一。如果说意识是大脑神经活动的一种涌现结果,那么刻画涌现便成为理解意识过程中一个重要环节。因果涌现理论目前发展出两个派别,除了 Erik Hoel 的有效信息因果涌现框架,还有一个是 Rosas 的信息分解(PID)框架,此后 Rosas 基于此进一步提出融合整合信息论的信息分解框架 ΦID,尝试构建新的意识理论。
一边是信息整合(IIT),一边是信息分解(PID),看似分裂,实际上都是对香农经典信息论的进一步发展。因果涌现读书会第四季「新信息论:从分解到整合」由北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起,旨在梳理信息论领域的发展脉络,从香农的经典信息论开始,重点关注整合信息论和信息分解这两个前沿话题,及其在交叉领域的应用。希望通过对这些“新信息论”度量指标的深入探讨,帮助我们理解什么是意识,什么是涌现,并找到不同学科,不同问题背后的统一性原理。
因果涌现社区
跨尺度、跨层次的涌现是复杂系统研究的关键问题,生命起源和意识起源这两座仰之弥高的大山是其代表。因果涌现理论、机器学习重整化技术、信息论或信息分解等近年来新兴的理论与工具,有望破解复杂系统的涌现规律。
集智俱乐部因果涌现读书会目前已经进行了三季。第一季读书会系统地梳理了因果涌现的概念,以及它与Sloopy Model、复杂性阈值、自指等概念之间的联系,也探讨了因果涌现理论在复杂网络、机器学习中的应用。参看:因果涌现读书会启动:连接因果、涌现与自指——跨尺度动力学与因果规律的探索。
第二季读书会探讨了涌现、因果科学和机器学习三大主题的融合,包括信息论拓展、因果涌现理论、因果表示学习、多尺度机器学习动力学建模。请参看:因果、涌现与机器学习:因果涌现读书会第二季启动。
第三季读书会进一步围绕因果涌现的核心问题「因果涌现的定义」以及「因果涌现的辨识」进行深入学习和讨论,对 Erik Hoel 提出的 Causal Emergence,Causal Geometry 等因果涌现的核心理论进行探讨和剖析,并详细梳理其中涉及到的方法论,包括从动力学约简、隐空间动力学学习等其他领域中学习和借鉴相关的研究思路,最后探讨因果涌现的应用,包括基于生物网络、脑网络或者涌现探测等问题展开扩展,发掘更多的实际应用场景。请参看:因果涌现读书会第三季启动:深入多尺度复杂系统核心,探索因果涌现理论应用
此次读书会主题是「新信息论:从分解到整合」,是因果涌现系列读书会的第四季,将重点梳理信息分解与整合信息论的相关研究。请参看:新信息论:从分解到整合|因果涌现读书会第四季启动
因果涌现社区聚集了600+成员,积累了大量论文解读资料。欢迎感兴趣的朋友报名,加入因果涌现社区,解锁对应录播权限。
点击“阅读原文”,报名读书会