导语


本次分享是论文《Encoding Causal Macrovariables》的解读。本次分享有两个重点：信息瓶颈理论与因果宏观变量编码。信息瓶颈理论主要基于信息论中互信息等数学工具，旨在打开深度学习的黑箱。文章基于信息瓶颈理论提出了启发式模型：“因果自编码器”，旨在自动从数据集中挖掘具有因果关系的因果宏观变量。在此基础上，通过增噪模型可以进一步探寻宏观因果变量之间的因果关系。


因果涌现读书会第二季主要围绕追根溯源、因果涌现、因果表示学习、机器学习多尺度自动建模、量子因果五大主题来探寻涌现、因果科学和机器学习这三大主题之间的联系。自2022年5月22日开始，每周日晚上19:00-21:00举办，持续时间预计 7-8周。欢迎对本话题感兴趣的朋友报名参加！





跟读书会主题之间的关系




因果宏观变量表征任务是我们对因果涌现的核心任务之一。本次分享有两个重点：信息瓶颈理论，与因果宏观变量编码。前者主要基于信息论中互信息等数学工具，旨在打开深度学习的黑箱——互信息同样是对因果涌现建模的核心工具之一。后者则是因果涌现的核心任务之一：在纷繁的现实观测数据中发现易于建模和解释的因果宏观变量。





报告内容简介




信息瓶颈理论是近年来备受关注的一种打开深度学习黑箱的理论方法。它借用信息论中互信息等数学工具，将神经网络的学习过程分解为压缩与优化两个过程，极大地增强了模型的可解释性——此过程与因果宏观变量表征任务的特性十分吻合。而将要介绍的文章，正是基于此提出了启发式模型：“因果自编码器”，旨在自动从数据集中挖掘具有因果关系的因果宏观变量。在此基础上，通过增噪模型可以进一步探寻宏观因果变量之间的因果关系。

【大纲】
1. 信息瓶颈理论：打开深度学习的黑箱[1]
将会从互信息的“数据处理不等式”性质切入，引入充分统计量与最小充分统计量的概念，来表达数据的“最优表达/压缩”。而这对于“最优表达/压缩”的求解过程，即是“信息瓶颈”的框架。通过这一框架，我们可以将神经网络的逐层视作马尔科夫链，并用“信息瓶颈”理论分析其训练过程。
2. 因果宏观变量编码[2]

从高维数据集中挖掘具有因果关系的宏观变量，等价于学习双方的“信息瓶颈”。通过巧妙设计网络，我们可以同时学习宏观变量的编码以及隐藏的因果关系。


【主要涉及到的知识概念】

互信息

信息瓶颈

因果宏观变量

自编码器

增噪模型




主持人介绍




方榯楷，美国犹他大学计算机博士生第三年在读，本科于中国科学技术大学少年班学院取得计算机与统计学双学位。他的主要研究涉及贝叶斯机器学习、张量分解与数据挖掘等领域，已在ICML,UAI,ICDM,CIKM等人工智能顶级会议上有发表多篇研究论文，并受邀在诸多机器学习与数据挖掘领域的会议与期刊中担任审稿工作。

参考文献

[1] Hltgen, B. . “Encoding Causal Macrovariables.” arXiv e-prints (2021).
[2] Shwartz-Ziv, R. , and  N. Tishby . “Opening the Black Box of Deep Neural Networks via Information.” (2017).




直播信息




直播时间：

2022年7月31日（周日）晚上20:00-22:00


参与方式：

  • 集智俱乐部 B 站免费直播，扫码可预约：

扫码预约

  • 文末扫码付费参加因果涌现读书会第二季可加入腾讯会议，可提问交流，加入群聊，获取回看地址及更多学习资料，成为因果涌现社区种子用户，与因果涌现社区的一线科研工作者沟通交流，共同推动因果涌现社区的发展。


因果涌现读书会第二季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。


由北京师范大学教授、集智俱乐部创始人张江和加州大学圣地亚哥分校助理教授尤亦庄等人发起的「因果涌现」系列读书会第二季，将组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。本读书会自2022年5月22日开始，每周日晚19:00举办，预计持续7-8周。欢迎感兴趣的朋友报名参与。


本季读书会详情与报名方式请参考：
因果、涌现与机器学习：因果涌现读书会第二季启动


点击“阅读原文”，报名直播