导语


集智俱乐部组织以“因果表征学习”为主题、为期十周的读书会，聚焦因果科学相关问题，共学共研相关文献。欢迎从事因果科学、人工智能与复杂系统等相关研究领域，或对因果表征学习的理论与应用感兴趣的各界朋友报名参与。






分享内容简介



 
无监督学习的目标之一是揭示数据生成过程的属性，例如生成观察数据的潜在结构。可识别性形式化了这一需求:在适当的假设下，从观察中学习到的模型应该匹配基本真理，这定义良好的模糊性。在表示学习中，可识别性主要是在独立成分分析(ICA)的背景下研究的，但其一个主要障碍是，在非线性情况下，独立分量估计并不一定对应于真实源。换句话说，非线性ICA不可识别。因此，我们研究了另一种路径，利用独立因果机制原则（ICM）的假设。具体地说，我们方法的动机是认为每个源都独立地影响混合过程，这就产生了一个框架，称之为独立机制分析（IMA）。我们提供了理论和经验证据，证明IMA规避了非线性盲源分离中的一些不可识别问题。




参考文献



 

具体解读信息：
本次分享主要从独立机制分析的角度，为非线性ICA的可识别性提供理论和经验证据，并进一步以Variational Autoencoders (VAEs) 为实例进行具体分析。

  • 第一作者讲解《Independent mechanism analysis, a new concept?》和《Embrace the Gap: VAEs Perform Independent Mechanism Analysis》

  • 本次报告主要探讨通过独立机制分析（IMA）解决非线性ICA的可识别性问题，并侧重近期的一些新思路，期望开放式讨论: ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分，但由于非线性ICA甚至是混合函数的不可识别性，我们提出独立机制分析（IMA）去规避非线性盲源分离中的一些不可识别问题。IMA可以理解为ICM的改进，这是在混合函数的层面上应用了机制独立性的思想。在本次报告中，我们将回顾已知的非线性ICA可识别性障碍以及现有的ICM准则及其缺点，从而提出了一个更适合无监督表示学习的ICM标准：IMA。在此基础上，我们将介绍IMA的原理解释和实验论证结果以及求解非线性ICA的方法，并进一步以Variational Autoencoders (VAEs) 为实例进行具体分析。





分享大纲



 

  • ‍背景 Background

  • 独立成分分析Independent Component Analysis (ICA)

  • 独立因果机制Independent Causal Mechanisms (ICM)

  • 独立机制分析Independent Mechanism Analysis (IMA)

  • IMA的直觉解释Intuition Behind IMA

  • IMA对比的定义和有用属性 Definition And Useful Properties of the IMA contrast

  • IMA的理论分析和论证Theoretical Analysis and Justification of IMA

  • 实验 Experiments

  • 开放式讨论 Open Discussion

  • 混合函数假设 Assumptions on the Mixing Function

  • IMA的可识别性 Towards Identifiability with IMA

  • IMA与因果和机制的独立性 IMA and Independence of Cause and Mechanism

  • BSS的算法信息 BSS through Algorithmic Information

  • 因果推断的ICA与ICA的因果 ICA for Causal Inference & Causality for ICA

  • 从IMA的角度分析Variational Autoencoders (VAEs)





主要涉及到的知识概念




– 独立机制分析 Independent Mechanism Analysis
– 独立因果机制 Independent Causal Mechanisms
– 独立成分分析 Independent Component Analysis
– 因果发现 Causal Discovery
– 因果表征学习 Causal Representation Learning
– 无监督学习 Unsupervised Learning
– 混合函数 Mixing Function
– 变分编码器 Variational Autoencoders (VAEs) 





主讲人介绍



 
Luigi Gresele，马克斯·普朗克智能系统中心在读博士生，导师为因果推断领军学者Bernhard Schölkopf，研究兴趣为无监督学习、因果推理方法和统计物理。





本次分享与读书会主题之间的关系




与读书会之间的关系：本次主讲内容与因果科学主题密切相关，通过提出新的因果概念独立机制分析解决机器学习中的非线性ICA的可识别性问题。绍其对因果科学以及机器学习的重要意义，并总结该研究现状和公开问题，侧重于探讨该领域最新方法与思路。





直播信息



 
时间：
2023年2月4日（本周六）晚上17:00-19:00

参与方式：
扫码参与因果科学第四季读书会，加入群聊，获取系列读书会回看权限，成为因果科学社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动因果科学社区的发展。


因果科学读书会第四季启动


因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！（附第四季资源列表）



详情请见：
连接因果科学与深度学习的桥梁：因果表征学习读书会启动


点击“阅读原文”，报名读书会