今晚8点,“因果科学与Causal AI”读书会将进行第十期的线上论文分享,主题是“因果强化学习”,将由剑桥大学在读博士陆超超、清华大学在读博士张卓婧来进行分享,本次内容将在集智俱乐部B站直播。

主题背景简介

近些年来,在游戏领域强化学习取得了巨大的进展,已经能够打败人类最顶级的玩家。但在现实生活中,我们却罕见强化学习的成功应用。带着这种疑惑,在本次读书会上,我们将探访机器学习中一个全新的领域——因果强化学习。因果强化学习不仅可以为传统强化学习中那些棘手的问题提供一种新的解决方案,更重要的是,它还为通用人工智能提供一种解决思路。隐藏在因果强化学习背后的哲学理念是迷人的:回顾科学发展的历史,人类也是走着相似的道路。具体来说,人类是在不断地与自然交互探索的过程中总结经验和规律,然后利用这些经验和规律更好地指导下一次与自然的交互探索,以此来不断地发展进步。因果强化学习就是在模仿人类的这种行为:智能体在于环境的交互过程中学习和发现其因果关系,然后利用学到的因果关系来优化自己的策略以指导下一步的交互。正是由于这个原因,因果强化学习可以被视为一种通用的学习算法,在现实生活中有着广泛的应用,比如:计算机视觉、机器人、生物医药、健康医疗、推荐系统,自动驾驶,金融、社会学等等。
 

大纲

  1. Introduction to Causal RL
    1. Brief Intro to RL and Causality
    2. Motivation
    3. Key Concepts
    4. Challenges
      1. Confoundings
      2. Counterfactuals
      3. Causal Representation Learning
      4. Artificial General Intelligence
    5. Applications
      1. Computer Vision
      2. Healthcare/Medicine
      3. Self-driving
      4. Recommendation Systems
  2. Paper Reading
    1. Causality for RL [1-3]
    2. RL for Causality [4-5]
  3. Discussion


主讲人介绍
陆超超:剑桥大学在读博士,研究方向为因果强化学习。
张卓婧:清华大学在读博士,研究兴趣是因果强化学习。

参考文献

[1]  Dudik, M., Langford, J., Li, L. Doubly robust policy evaluation and learning. In Proceedings of 28th International Conference on Machine Learning. 2011.
[2] Bareinboim, E., Forney, A., Pearl, J. Bandits with Unobserved Confounders: A Causal Approach. In Proceedings of the 28th Annual Conference on Neural Information Processing Systems, 2015.
[3] Zhang, J., Bareinboim, E. Designing Optimal Dynamic Treatment Regimes: A Causal Reinforcement Learning Approach. In Proceedings of the 37th International Conference on Machine Learning. 2020.
[4] Khalil, Elias, et al. “Learning combinatorial optimization algorithms over graphs.” Advances in Neural Information Processing Systems. 2017.
[5] Zhu, Shengyu, Ignavier Ng, and Zhitang Chen. “Causal discovery with reinforcement learning.” arXiv preprint arXiv:1906.04477 (2019). 
[6] Lu et al. “Deconfounding reinforcement learning in observational settings.” arXiv preprint arXiv:1812.10576
[7] Schoelkopf, Bernhard. “Causality for machinine learning.” arXiv preprint arXiv:1911.10500
[8] Buesing et al. “Woulda, coulda, shoulda: Counterfactually-guided policy search.” arXiv preprint arXiv:1811.06272
[9] de Haan et al. “Causal confusion in imitation learning.” arXiv preprint arXiv: 1905.11979


直播信息与报名方式


直播时间:今天(11月29日) 20:00-23:00


直播地址:集智俱乐部 B 站直播间


👀关注B站主播“集智俱乐部”
不错过每一场集智重磅直播


直播地址:
https://live.bilibili.com/8091531
直播时间 :20:00-22:00


关于读书会内容介绍的更新


集智俱乐部联合智源社区发起了因果科学与Causal AI读书会受到了因果科学领域一线科研工作者的广泛认可,我们也深深的感受到了青年科学工作者推动该领域发展的热情。目前因果科学与Causal AI读书会已经有220+的朋友报名,其中硕博的比例接近80%。

 

在读书会中的参与者以科研工作者居多,清华大学、北京大学、国防科技大学、浙江大学、复旦大学、中山大学等国内高校的学生居多,也有许多一线互联网包括谷歌X、FackBook、滴滴、腾讯、阿里、拼多多等大厂的工程师也参与其中。


             

欢迎大家加入其中,现在加入读书会的成员将会作为因果社区的种子用户长期运营,将可以免费享受集智俱乐部后续因果相关主题的读书会,如果你心动了,就点击下面的链接报名吧~

 

时间:9月20日起,每周日晚19:00-21:00,持续约2-3个月
模式:线上闭门读书会;收费-退款的保证金模式;读书会成员认领解读论文
费用:299/人

 

了解读书会具体规则、报名读书会请点击下方文章:

因果科学与 Causal AI 系列读书会 | 众包出书


目前读书会已经有超过130余人的海内外高校科研院所的一线科研工作者以及互联网一线从业人员参与,如果你也对这个主题感兴趣,就快加入我们吧!


针对读书会的主题,由发起人龚鹤扬设置好了内容框架,每个主题下有一个负责人来负责维护组织相关内容,目前已经定好的如图所示,欢迎对主题感兴趣的联系相关负责人,以及来认领相关主题~


推荐阅读


图灵奖得主Judea Pearl 智源大会演讲:从“大数据革命”到“因果革命”

了研究因果关系,原来科学家在这么多方向上都有尝试

因果发现:如何让算法成为复杂系统中的“福尔摩斯”?

因果科学:连接统计学、机器学习与自动推理的新兴交叉领域

因果观念新革命?万字长文,解读复杂系统背后的暗因果

加入集智,一起复杂!






集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

◆ ◆ 

搜索公众号:集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧!



👇点击“阅读原文”,来看直播