导语


真实场景中往往存在着测试分布与训练分布之间的分布偏移，如何利用异质数据学习具有良好分布外泛化能力的模型被称为分布外泛化问题。而如何从数据中学习稳定不变的预测关系一直以来是分布外泛化问题的核心。在本次分享中，我们将首先介绍不变性与因果性的关系，并且刻画并阐述数据异质性对于学习不变性的作用。此外，我们还将介绍经典的不变学习方法，以及其在潜在异质性下的拓展方法。最后，我们将介绍这些方法的发展方向与应用前景。


因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！






与读书会整体的主题之间的关系



 

分布外泛化问题中的不变性可以被视为是因果关系在机器学习场景下的一种放松或泛化，同时数据异质性也是学习因果性与不变性必不可少的条件，因此这三个概念之间存在着很强的联系，如何理解三者的关系也十分重要。同时，我们将介绍学习数据中不变预测关系的一些经典算法及其拓展。





主要涉及到的知识概念




  • 不变关系：Invariant Relationship

  • 数据异质性：Data Heterogeneity

  • 不变风险最小化：Invariant Risk Minimization

  • 异质性风险最小化：Heterogeneous Risk Minimization





分享内容简介




实场景中往往存在着测试分布与训练分布之间的分布偏移，如何利用异质数据学习具有良好分布外泛化能力的模型被称为分布外泛化问题。而如何从数据中学习稳定不变的预测关系一直以来是分布外泛化问题的核心。在本次分享中，我们将首先介绍不变性与因果性的关系，并且刻画并阐述数据异质性对于学习不变性的作用。此外，我们还将介绍经典的不变学习方法，以及其在潜在异质性下的拓展方法。最后，我们将介绍这些方法的发展方向与应用前景。





参考文献




本次分享将以第一作者分享《Heterogeneous Risk Minimization》、《Kernelized Heterogeneous Risk Minimization 》、《Measure the Predictive Heterogeneity 》和《Distributionally Invariant Learning: Rationalization and Practical Algorithms 》。

在本次分享中，我们将首先介绍不变性与因果性的关系，并且刻画并阐述数据异质性对于学习不变性的作用。此外，我们还将介绍经典的不变学习方法，以及其在潜在异质性下的拓展方法。最后，我们将介绍这些方法的发展方向与应用前景。




分享大纲




  • 不变性与因果性的关系

  • 不变性与异质性的关系

    • 不变学习对异质性要求

    • 数据异质性度量

  • 潜在异质性下的不变学习

    • HRM

    • Kernel HRM

  • 分布稳定性




主持人简介




刘家硕，清华大学计算机系博士生，导师为崔鹏老师。主要研究方向为分布外泛化问题、分布鲁棒优化、数据异质性分析等，曾获研究生国家奖学金，已在ICML，NeurIPS, ICLR等会议/期刊以第一作者发表文章6篇，现为CVPR、ICCV、AISTATS、UAI等会议审稿人。

文献：
Jiashuo Liu, Zheyuan Hu, Peng Cui, Bo Li, Zheyan Shen. Heterogeneous Risk Minimization. ICML 2021, In International Conference on Machine Learning.

Jiashuo Liu*, Zheyuan Hu*, Peng Cui, Bo Li, Zheyan Shen. Kernelized Heterogeneous Risk Minimization. NeurIPS 2021, In Neural Information Processing Systems.

Jiashuo Liu, Jiayun Wu, Renjie Pi, Renzhe Xu, Xingxuan Zhang, Bo Li and Peng Cui. Measure the Predictive Heterogeneity. ICLR 2023, The 11th International Conference on Learning Representations.

Jiashuo Liu, Jiayun Wu, Jie Peng, Zheyan Shen, Bo Li and Peng Cui. Distributionally Invariant Learning: Rationalization and Practical Algorithms.





直播信息



 
时间：
2023年2月18日（本周六）晚上20:00-22:00

参与方式：
扫码参与因果科学第四季读书会，加入群聊，获取系列读书会回看权限，成为因果科学社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动因果科学社区的发展。


因果科学读书会第四季启动


因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！（附第四季资源列表）



详情请见：
连接因果科学与深度学习的桥梁：因果表征学习读书会启动


点击“阅读原文”，报名读书会