因果学习理论基石: 独立成分分析 | 周六直播·因果表征学习读书会

导语

集智俱乐部组织以“因果表征学习”为主题、为期十周的读书会，聚焦因果科学相关问题，共学共研相关文献。欢迎从事因果科学、人工智能与复杂系统等相关研究领域，或对因果表征学习的理论与应用感兴趣的各界朋友报名参与。

分享内容简介

独立成分分析（ICA）和因果学习之间存在着重要的联系。首先，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测数据。其次，ICA是因果表征学习的基础之一，其可识别性是学习因果隐变量的理论保障。同时，在机器学习中，ICA的理论也对多种下游任务起着指导性作用，比如与解耦相关的生成模型等。在本次报告中，我们将概览ICA可识别性的理论基础，深入探寻其研究现状和相关问题，并侧重于泛用性更强的非线性情况，一同探讨潜在的新思路。

分享简介

本次报告主要探讨独立成分分析以及其与因果学习之间的联系，并侧重于近期的一些新思路，期望开放式讨论: 首先，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测数据。其次，ICA是因果表征学习的基础之一，其可识别性是学习因果隐变量的理论保障。同时，在机器学习中，ICA的理论也对多种下游任务起着指导性作用，比如与解耦相关的生成模型等。在本次报告中，我们将概览ICA可识别性的理论基础，深入探寻其研究现状和相关问题，并侧重于泛用性更强的非线性情况，一同探讨潜在的新思路。同时以第一作者讲解《On the Identifiability of Nonlinear ICA: Sparsity and Beyond》。

分享内容大纲

ICA的意义 Why ICA?

因果发现，解耦，无监督学习 Causal discovery, disentanglement, and unsupervised learning

线性ICA Linear ICA

避免传统假设 Avoid traditional assumptions

从线性到非线性 Extension from linear ICA to nonlinear ICA

非线性ICA的意义 Why nonlinear ICA?
挑战 – 可识别性 Challenges – Identifiability
源分布假设 Constraints on the distribution of sources

辅助变量 Auxiliary variables

混合过程假设 Constraints on the mixing process

函数类型 Algebraic functional form
结构化系数 Structural sparsity

主要涉及到的知识概念

独立成分分析 Independent Component Analysis
因果发现 Causal Discovery
因果表征学习 Causal Representation Learning
无监督学习 Unsupervised Learning
解耦 Disentanglement
隐变量模型 Latent Variable Models

主讲人介绍

郑雨嘉，卡耐基梅隆大学，逻辑、计算和方法论在读硕士，导师为张坤教授。研究方向为因果性与机器学习。目前工作主要关注因果发现、因果表征学习以及结构学习。

主页: yjzheng.com

主要涉及到的参考文献

Comon, Pierre. “Independent component analysis, a new concept?.” Signal processing 36.3 (1994): 287-314.

Hyvärinen, Aapo, and Petteri Pajunen. “Nonlinear independent component analysis: Existence and uniqueness results.” Neural networks 12.3 (1999): 429-439.

Hyvarinen, Aapo, Hiroaki Sasaki, and Richard Turner. “Nonlinear ICA using auxiliary variables and generalized contrastive learning.” The 22nd International Conference on Artificial Intelligence and Statistics. PMLR, 2019.

Zheng, Yujia, Ignavier Ng, and Kun Zhang. “On the Identifiability of Nonlinear ICA: Sparsity and Beyond.” Advances in Neural Information Processing Systems. 2022

本次分享与读书会主题之间的关系

与读书会之间的关系：本次主讲内容与因果科学主题密切相关，将概览独立成分分析的问题定义，介绍其对因果科学以及机器学习的重要意义，并总结该研究现状和公开问题，侧重于探讨该领域最新方法与思路。
与复杂系统之间的关系：因果表征学习是连接因果科学、机器学习与复杂系统的桥梁，作为因果科学的前沿方法，与复杂系统中的因果涌现关系密切：涌现是从微观到宏观的产生过程，这与因果表征学习恰好对应。因果表征表征学习也是一个从微观到宏观的学习过程，它从一些微观的信息(比如图像或者音频) 中可以学到宏观的、可解释的因果变量，这也有望解决复杂系统中定量刻画涌现现象等问题。

直播信息

时间：

2023年1月14日（本周六）晚上20:00-22:00

参与方式：

扫码参与因果科学第四季读书会，加入群聊，获取系列读书会回看权限，成为因果科学社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动因果科学社区的发展。

因果科学读书会第四季启动

因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！（附第四季资源列表）