导语


本次是因果科学与大语言模型读书会的第七期。因果表征学习一直是一个具有挑战性的研究方向。本次直播分享，来自穆罕默德·本·扎耶德人工智能大学博士后研究员陈广义将会与大家讨论「充分变化」、「稀疏约束」这两项重要的数据假设及其对可识别性的促进作用。

集智俱乐部联合北京大学大数据科学研究中心博士研究生李昊轩、伦敦大学学院计算机博士研究生杨梦月，卡耐基梅隆大学和穆罕默德·本·扎耶德人工智能大学博士后研究员陈广义共同发起「因果科学+大模型」读书会。这是我们因果科学系列读书会的第五季，旨在探讨在大模型之后为何仍需“因果科学”？大模型如何推动因果科学的研究进展？因果科学能否在推理能力、可解释性和可信性等方面启发更优大模型的设计？以及因果科学的最新进展如何在实际领域中应用和落地？希望汇聚相关领域的学者，共同探讨因果科学的发展和挑战，推动学科发展。





背景




基于深度表示的先进人工智能技术，如GPT和Stable Diffusion，已展现出在分析海量数据和从非结构化数据生成连贯响应方面的卓越能力。这些技术通过复杂的架构捕捉微妙的关系和依赖性。然而，这些模型主要识别依赖关系，而非建立和利用因果关系。这可能导致潜在的虚假相关和算法偏见，从而限制模型的可解释性和可信度。相比之下，传统的因果发现方法旨在以无监督的方式识别观测数据中的因果关系。尽管这些方法在完全观测数据的情境下显示出良好的效果，但在处理图像、视频以及可能的文本等复杂的现实场景中，因果效应发生在潜在空间时，这些方法往往表现不佳。

近年来，因果表征学习（Causal Representation Learning, CRL）在应对上述挑战方面取得了显著进展，展示了在理解观测数据背后的因果关系方面的巨大潜力。这些技术有望帮助研究人员识别潜在的因果变量并辨别它们之间的关系，从而为解开表示提供一种有效的途径，增强模型的可靠性和可解释性。本次报告的内容主要在于分析什么信息可以帮助实现具有可识别性的因果表征学习，主要讨论两项重要的数据假设：充分变化（sufficient change）和稀疏约束（sparsity constraint）。这两者分别从变量和函数的角度促进了可识别性。关于充分变化条件，我们探讨了在不同情况下可识别性的变化及其实现方式，例如非稳态、不可逆、以及瞬时变化的场景。对于稀疏约束条件，我们介绍了该约束在何种情况下能够帮助实现可识别性。此外，我们还展示了因果表征在实际任务中的应用价值。




大纲




  • 因果表征背景介绍

  • 充分变化条件

  • 充分变化条件的不同变种

  • 稀疏约束条件

  • 因果表征的实际应用




主讲人简介




陈广义， 卡耐基梅隆大学，穆罕默德·本·扎耶德人工智能大学，博士后研究员。博士就读于清华大学自动化系。主要研究方向为因果表征学习，注意力表征学习，视觉理解等。在CVPR、ICCV、ECCV、 ICLR、NeurIPS、ICML、AAAI、IEEE TIP等多个顶尖会议期刊上发表论文30余篇，其中以第一作者发表论文10余篇，Spotlight或Oral 论文7篇。现为CVPR、 ICCV、 ICLR、ICML、NeurIPS等多个国际会议PC member，以及IEEE TPAMI, IEEE TIP, IEEE TNNLS, IJCV等多个期刊审稿人。
个人主页：https://chengy12.github.io/




主持人介绍




李昊轩， 北京大学大数据科学研究中心，数据科学（统计学）博士，CCF会员、IEEE会员、ACM会员。研究兴趣为因果机器学习理论、反事实公平性、推荐系统去偏、分布外泛化、多源数据融合、生物信息学和大语言模型等。已在ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个CCF-A顶尖会议以第一作者发表多篇论文，其中5篇论文被评选为Spotlight或Oral，现为ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个顶会PC member或Area Chair，以及TKDE、TOIS、TKDD、The Innovation、《中国科学：信息科学》等多个顶级期刊审稿人，14项发明专利。连续两年获得北京大学博士最高研究奖“校长奖学金”，获国家奖学金，九坤（人工智能方向）奖学金，北京大学三好学生，两项成果获北京大学“挑战杯”五四青年科学奖特等奖，并获得首批国家自然科学基金青年学生基础研究项目（博士研究生）30万资助。




直播信息




直播时间：

9月1日20:00-22:00（周日），直播报名入口见后文。

参与方式：

集智俱乐部 B站和视频号免费直播，扫码可预约：

扫码预约本次直播

若需要观看视频回放，文末扫码付费参加可加入腾讯会议，可提问交流、加入群聊、获取视频回放及更多学习资料，成为因果科学社区种子用户，与一线科研工作者沟通交流，共同推动因果科学社区的发展。




参考文献




  • Weiran Yao, Guangyi Chen, Kun Zhang, Temporally Disentangled Representation Learning, Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS), 2022.

  • Guangyi Chen*, Yifan Shen*, Zhenhao Chen*, Xiangchen Song, Yuewen Sun, Weiran Yao, Xiao Liu, Kun Zhang, CaRiNG: Learning Temporal Causal Representation under Non-Invertible Generation Process, International Conference on Machine Learning (ICML), 2024.

  • Xiangchen Song, Weiran Yao, Yewen Fan, Xinshuai Dong, Guangyi Chen, Juan Carlos Niebles, Eric Xing, Kun Zhang, Temporally Disentangled Representation Learning under Unknown Nonstationarity, Thirty-seventh Conference on Neural Information Processing Systems (NeurIPS), 2023.

  • Guangyi Chen, Yuke Li, Xiao Liu, Zijian Li, Eman Al Suradi, Donglai Wei, Kun Zhang, LLCP: Learning Latent Causal Processes for Reasoning-based Video Question Answer, The Twelfth International Conference on Learning Representations (ICLR), 2024.

  • Yujia Zheng, Ignavier Ng, Kun Zhang, On the Identifiability of Nonlinear ICA: Sparsity and Beyond, NeurIPS 2022

  • Kun Zhang, Shaoan Xie, Ignavier Ng, Yujia Zheng,  Causal Representation Learning from Multiple Distributions: A General Setting, ICML 2024

  • Sébastien Lachapelle, Pau Rodríguez López, Yash Sharma, Katie Everett, Rémi Le Priol, Alexandre Lacoste, Simon Lacoste-Julien,  Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies



因果科学社区


“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。集智俱乐部在过去4年期间围绕研究人员的不同角度的需求，举办了4季相关主题的读书会，形成了数千人规模的社区。

【第一季：因果科学与Causal AI】基于《Elements of Causal Inference》，探讨因果科学在机器学习方面的应用，如强化学习和迁移学习等，并分享工业应用。

【第二季：因果科学与基础实战】聚焦实操和基础，深入学习《Causal inference in statistics: A primer》和《Elements of causal inference: foundations and learning algorithms》。 

【第三季：因果科学与Causal +X】回顾社会学、经济学、医学，计算机等领域的因果模型和范式，尝试用现代模型提供新思路。 

【第四季：因果表征学习】探讨因果表征学习的理论、技术和最新应用，涉及因果生成模型、可解释性、公平性及工业落地。

第五季读书会主要围绕因果科学的最新进展，包括因果科学与大模型的结合等方面进行深度的探讨和梳理，希望给在这个领域的研究者提供一个全面的研究图景。共同探讨因果科学的未来发展以及面临的挑战。


详情请见：速来！因果与大模型的双向赋能丨因果科学第五季强势回归


点击“阅读原文”，报名读书会