导语


在深度学习模型中，特征的语义信息是混杂的，使得因果理论不能得到完全的应用。上周日，读书会邀请了张含望老师和王谭博士介绍最新的基于群论的自监督特征解耦框架IP-IRM。该框架通过利用抽象代数的群论来建模数据之间的变化，结合数据分组、对比学习及不变性约束约束达到解耦特定语义的目标。

本次读书会邀请到张含望团队的牛玉磊博士分享因果推断中另一重要问题：无偏学习与推理。牛玉磊博士将介绍一种新的无偏因果推理框架，该框架在视觉问答、阅读理解、长尾分类等不同任务中均展现了鲁棒的无偏推理能力。





背景




在实际应用场景中，真实数据集广泛存在着数据偏见或分布不均的问题。在不加人为干预的情况下，真实训练数据往往呈现长尾分布。在此情形下，基于传统统计方法的模型会倾向于学习数据偏见，过度关注头部数据，从而导致有偏见的推断。近期研究工作提出了一系列去偏推理与学习的方法，使模型更加重视“少数派”样本。然而，这些方法引入了另一种相反的偏见，即过于关注“少数派”样本，牺牲了“多数派”样本的性能，因此仍未实现真正的无偏学习与推理。如何更合理地克服数据偏见，使“少数派”与“多数派”同时受益，使模型性能独立于测试场景，仍然是开放的研究问题。





内容简介




本次报告将介绍我们对无偏学习与推理问题的最新探索。我们最新提出了一种无偏因果推理框架：跨领域经验风险最小化。该框架将不同的数据分布视作不同的领域，借助因果推理中的干预思想，均衡地利用不同领域中的归纳偏置，避免模型过分依赖某一种归纳偏置。该框架能够同时提升模型在不同数据分布场景下的决策能力，实现“少数派”与“多数派”的两全其美。该框架在视觉问答、阅读理解、长尾分类等不同任务中均展现了鲁棒的无偏推理能力。




主讲人 




牛玉磊，新加坡南洋理工大学博士后，本科及博士毕业于中国人民大学。主要研究领域为计算机视觉、多模态交互、因果推断等。曾获2021年CCF优秀博士学位论文奖，ICLR 2021、ICCV2021杰出审稿人，Visual Dialog Challenge 2019冠军，入选CVPR 2020 Doctoral Consortium。





直播信息




时间：

2022年1月9日上午9: 00-11: 00


参与方式：

  • 文末扫码参加读书会第三季，加入群聊，获取系列读书会回看权限，成为因果社区种子用户，与900余位社区的科研工作者沟通交流，共同推动因果科学的发展。
  • 集智俱乐部 B 站免费直播，扫码可预约。

扫码预约



因果科学读书会第三季启动


由智源社区、集智俱乐部联合举办的因果科学与Causal AI读书会第三季，将主要面向两类人群：如果你从事计算机相关方向研究，希望为不同领域引入新的计算方法，通过大数据、新算法得到新成果，可以通过读书会各个领域的核心因果问题介绍和论文推荐快速入手；如果你从事其他理工科或人文社科领域研究，也可以通过所属领域的因果研究综述介绍和研讨已有工作的示例代码，在自己的研究中快速开始尝试部署结合因果的算法。读书自2021年10月24日开始，每周日上午 9:00-11:00举办，持续时间预计 2-3 个月。

读书会大纲一览：

Donald Rubin：Essential Concepts of causal inference

「基础理论学习」
因果推断的潜在结果框架在实验性研究的应用
因果推断在观察性研究中的应用：DESIGN

因果推断在观察性研究中的应用（续）：ANALYSIS

「案例研讨」
医学、药学、生物学中的研究案例
管理学、经济学、社会学及政治学中的研究案例
因果随机森林及其在工业界的应用
多级治疗与连续性暴露
因果推荐系统
因果在自然语言处理中的应用

因果与公平性和可解释性

「深入理论学习」

双稳健估计、处理极端倾向得分的方法
阴性对照试验
高维因果推断
结合随机化试验数据与观察性数据



点击“阅读原文”，报名读书会