明晚8点，“因果科学与Causal AI”读书会将进行第十二期的线上论文分享，主题是“因果助力CV、NLP和认知神经科学”，将由浙江大学在读硕士吴亦全、浙江大学在读博士张圣宇、集智俱乐部常驻作者十三维来进行分享，本次内容将在集智俱乐部B站直播。


 




论文解读 《De-Biased Court’s View Generation with Causality》




数据不平衡问题经常出现在文本分类任务中，而在文本生成任务中被忽视。在民事诉讼中，存在着无法被观测到的数据生成机制：原告往往在有把握的情况下才会起诉。这种数据生成机制导致的数据不平衡，会导致法院观点生成模型在编码时只关注支持性的信息，从而生成不准确的法院关点。文章通过对这种现象进行了因果建模，并将后门调整巧妙运用到了NLP中，从而使得法院观点生成模型能够消除数据生成带来的混淆偏差。


Outline

  1. Introduction to Court’s View Generation
    1. Brief Introduction to Legal AI
    2. Task Definition
    3. Challenges
  2. Method
    1. Causal Graph
    2. Backdoor Adjustment
    3. Backdoor in Implementation
    4. Model Arch
  3. Experiments
    1. Dataset
    2. Metrics
    3. Baselines
    4. Results
  4. Discussion
    1. Ethical Issue
    2. Future Work

 

Reference

I Sutskever, O Vinyals, and QV Le. 2014. Sequence to sequence learning with neural networks. Advances in NIPS. 

 

Abigail See, Peter J Liu, and Christopher D Manning. 2017. Get to the point: Summarization with pointer-generator networks. arXiv preprint arXiv:1704.04368. 

 

Haoxi Zhong, Zhipeng Guo, Cunchao Tu, Chaojun Xiao, Zhiyuan Liu, and Maosong Sun. 2018. Legal judgment prediction via topological learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 3540–3549. 

 

Judea Pearl. 2009. Causality. Cambridge university press.

 

Judea Pearl, Madelyn Glymour, and Nicholas P Jewell. 2016. Causal inference in statistics: A primer. John Wiley & Sons. 

 

分享者介绍

 

吴亦全，浙江大学在读硕士，研究方向为自然语言处理

             

 



因果在去偏差预训练中的应用




预训练技术旨在可轻易大规模收集的无标签（或单一标签）数据集上，通过包括自监督学习（Self-supervised Learning）在内的手段学习到和某个具体下游任务无关的通用表征。大量的下游任务可利用这种通用的特征作为先验知识或额外辅助知识以增强性能和实现冷启动。相比于一般的深度学习任务，预训练任务更加看重模型的泛化能力，并且对预训练数据中存在的偏见更为敏感。这是因为，领域内的偏见知识可能对领域内的分析判断有帮助，但对领域外的任务可能是有害的[1]。因此，如何实现去偏差预训练和特征提出是重要的研究和应用课题。


Outline

Introduction to Causal Pretraining
    1. Brief introduction to pretraining
    2. Motivation
    3. Challenges
  1. Paper Reading [2-3]
  2. Discussion


Reference

[1] Kun Kuang, Peng Cui, Susan Athey, Ruoxuan Xiong, and Bo Li. 2018. Stable Pre- diction across Unknown Environments.. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD 2018, Lon- don,UK,August19-23,2018.1617–1626. https://doi.org/10.1145/3219819.3220082 

 

[2] Shengyu Zhang, Tan Jiang, Tan Wang, Kun Kuang, Zhou Zhao, Jianke Zhu, Jin Yu, Hongxia Yang, Fei Wu: DeVLBert: Learning Deconfounded Visio-Linguistic Representations. ACM Multimedia 2020: 4373-4382

 

[3] Zekun Yang, Tianlin Liu: Causally Denoise Word Embeddings Using Half-Sibling Regression. AAAI 2020: 9426-9433

 

分享者介绍

 

张圣宇，浙江大学在读博士，研究方向为多模态学习、推荐系统和稳定学习

              




论文解读 《Causality in cognitive neuroscience: concepts, challenges, and distributional robustness》




背景介绍


概率模型描述了观察变量之间的依赖结构，因果模型则更进一步，例如可以预测认知功能如何被外部干预造成的神经元活动影响。在这篇论文综述中，作者回顾了知神经科学背景下的因果关系概念，并回顾了从数据中推断因果关系的现有方法。因果推理是一项颇有野心又异常艰巨的任务，在认知神经科学中尤其具有挑战性。在文章中，作者从各个方面详细讨论当前两个主要困难：干预数据的稀缺性和寻找正确变量的挑战，主张将分布鲁棒性作为解决这些问题的指导原则。鲁棒性或不变性是是因果方法的基本原则，只要目标环境不产生因果作用，一个目标变量的因果模型就可以在不同的环境或主体中泛化。如果一个候选因果模型不能泛化，那么要么它不包含目标变量的正确原因，要么问题中基本变量没有表示为恰当的粒度。为解决干预数据稀缺和寻找正确变量问题，认知神经科学同样需要从数据和模型评估两方面分别发展种种技术去应对挑战。

 

Outline

– 认知神经科学中的因果
– 认知神经科学研究层次 
    – 场景 1：stimulus → brain activity → response
    – 场景 2：stimulus → brain activity
认知神经科学的因果挑战
    – （1）干预数据缺乏（the scarcity of interventional data）
    – （2）寻找正确变量（the challenge of fnding the right variables）
结构因果模型中的观察与干预
    – 干预分布与观察分布
    – 因果模型的等效性
– 典型因果模型和方法
    – 随机化实验
    – 基于约束的方法（Constraint-based methods） 
    – 基于分数的方法（Score-based methods）
    – 约束结构因果模型（Restricted structural causal models）
    – 动力因果模型（Dynamic causal modelling (DCM)
    – 格兰杰因果 (Granger causality)
  – 跨环境不变性与因果模型
  – 寻找正确粒度变量
  – 模型鲁棒性和变量结构
      – Robust Independent Component Analysis
      – Causal discovery with exogenous variation
      – Anchor regression  


分享者介绍

十三维，某航空公司数据运营主管，集智俱乐部常驻作者，毕业于首都师范大学数学系，长期关注复杂系统与认知科学等跨学科研究


直播信息与报名方式


直播时间：明晚（12月13日） 20:00-23:00


参与方式 1：腾讯会议（需报名参加系列读书会）

参与方式 2：集智俱乐部B站直播


扫描下方二维码，点击「我要听」报名，内附B站直播地址。




关于读书会内容介绍的更新


集智俱乐部联合智源社区发起了因果科学与Causal AI读书会受到了因果科学领域一线科研工作者的广泛认可，我们也深深的感受到了青年科学工作者推动该领域发展的热情。目前因果科学与Causal AI读书会已经有220+的朋友报名，其中硕博的比例接近80%。

 

在读书会中的参与者以科研工作者居多，清华大学、北京大学、国防科技大学、浙江大学、复旦大学、中山大学等国内高校的学生居多，也有许多一线互联网包括谷歌X、FackBook、滴滴、腾讯、阿里、拼多多等大厂的工程师也参与其中。


             

欢迎大家加入其中，现在加入读书会的成员将会作为因果社区的种子用户长期运营，将可以免费享受集智俱乐部后续因果相关主题的读书会，如果你心动了，就点击下面的链接报名吧~

 

时间：9月20日起，每周日晚19:00-21:00，持续约2-3个月
模式：线上闭门读书会；收费-退款的保证金模式；读书会成员认领解读论文
费用：299/人

 

了解读书会具体规则、报名读书会请点击下方文章：

因果科学与 Causal AI 系列读书会 | 众包出书


目前读书会已经有超过130余人的海内外高校科研院所的一线科研工作者以及互联网一线从业人员参与，如果你也对这个主题感兴趣，就快加入我们吧！


针对读书会的主题，由发起人龚鹤扬设置好了内容框架，每个主题下有一个负责人来负责维护组织相关内容，目前已经定好的如图所示，欢迎对主题感兴趣的联系相关负责人，以及来认领相关主题~



推荐阅读



点击“阅读原文”，来报名吧～