因果强化学习综述 | 周日直播·因果表征学习读书会

导语

因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！

分享内容简介

在过去的几十年里，因果科学与强化学习独立发展，在各自领域中取得了巨大的理论和技术进展。近几年来，不少专家指出他们可以相互协调地整合在一起，促进发展。哥伦比亚大学因果人工智能实验室主任Elias Bareinboim在ICML 2020中进行了题为《因果强化学习》的课程演讲；上海人工智能实验室陆超超受当前医学领域发展所启发，发表了《因果强化学习》相关的诸多讲座，在强化学习中引入因果并强调其潜在的适用性。一系列因果强化学习工作逐渐诞生，因此，在本次报告中，清华大学曾艳博士后将结合《A Survey on Causal Reinforcement Learning》讲解目前因果强化学习的基本问题、研究进展、技术框架、应用场景以及未来可能的研究方向；香港城市大学的冯帆博士会介绍两篇跟因果强化学习相关的具体工作。

分享简介

• 参考文献：

• 具体的解读信息：

• 《A Survey on Causal Reinforcement Learning》综述解读

• 《AdaRL：What, Where, and How to Adapt in Transfer Reinforcement Learning》论文解读

• 《 Factored Adaptation for Non-Stationary Reinforcement Learning》论文解读

• 本次报告描述了一种解决智能决策问题的新思路：在强化学习模型的基础上引入因果思想，尝试解决现有强化的数据效率不足、可解释性不足、泛化性不足等难题。综述文章根据因果信息是否先验，将现有方法划分为两大类：基于先验因果信息和基于未知因果信息。基于先验因果信息的因果强化学习方法通常假定环境模型中的因果结构已知（隐变量可能存在）；而基于未知因果信息的因果强化学习方法通常需要额外地进行因果结构学习、因果表征学习等。文章总结了现有的应用场景、公开资源和评估指标，也分析了一些当前的和开放的问题。同时，介绍两篇跟因果强化学习相关的具体工作。

分享内容大纲

引言 Introduction

出发点 Motivation
强化学习与因果的简单介绍 Brief Intro to RL and Causality

因果强化学习 Causal RL

总结 Summary
基于先验因果信息的因果强化学习 CRL with prior causal information
基于未知因果信息的因果强化学习 CRL with unknown causal information

未来方向 Future Directions
论文解读一 Related Publication I
论文解读二 Related Publication II

主要涉及到的知识概念

因果推断 Causal Inference
因果发现 Causal Discovery
强化学习 Reinforcement Learning
马尔科夫决策过程 Markov Decision Process
部分可观测马尔科夫决策过程 Partially Observed Markov Decision Process
多臂老虎机 Multi-Armed Bandit
模仿学习 Imitation Learning

主持人简介

曾艳，清华大学计算机科学与技术系，博士后。研究兴趣为因果发现与因果强化学习、隐变量间因果关系学习、含隐混淆因子策略学习问题等。已在IJCAI、TNNLS、NN 等多个顶尖会议或期刊发表文章，现为AAAI、UAI等Program Committee members (PC)。

冯帆，香港城市大学在读博士，研究兴趣为因果表征学习和强化学习, 迁移学习等。

主要涉及到的参考文献

[1] Zeng Y, Cai R, Sun F, et al. A Survey on Causal Reinforcement Learning[J]. arXiv preprint arXiv:2302.05209, 2023.

这是一篇因果强化学习的研究综述，较全面地阐释了因果强化学习的基本问题、基础假设、技术框架、应用场景和未来可能的研究方向。

[2] B. Huang, F. Feng, C. Lu, S. Magliacane, K. Zhang. AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning. ICLR’22.

这篇文章提出了一种高效的迁移强化学习模型，可以在目标领域中利用少量样本可靠且高效地适应跨领域的变化。该方法利用因果图对RL系统中变量之间的结构关系进行刻画。通过利用图表征去推断领域变化量和不变量之间的关系，可以将策略适应到目标领域中来实现高效的迁移强化学习。

[3] F. Feng, B. Huang, K. Zhang, S. Magliacane. Factored Adaptation for Non-Stationary Reinforcement Learning. NeurIPS’22

这篇文章提出了一种新的方法来处理强化学习中的非稳态性问题，该方法利用因果关系文献中的见解，将非稳态性建模为个体潜在变化因素和环境模型之间的因果图。该方法可以通过学习环境模型中的联合适应性，以应对环境状态状态和目标的变化。

本次分享与读书会主题之间的关系

本次主讲内容与因果科学主题密切相关，将综述因果强化学习的基本概念与技术框架，讲解因果科学与强化学习的内在联系，从因果信息是否先验的角度分享现有因果强化学习的方法，介绍其在不用领域的应用场景（如游戏、机器人、自动驾驶等），并总结该领域的研究现状和公开问题。

直播信息

时间：

2023年3月12日（本周日）晚上20:00-23:00

参与方式：

扫码参与因果科学第四季读书会，加入群聊，获取系列读书会回看权限，成为因果科学社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动因果科学社区的发展。

因果科学读书会第四季启动

因果科学读书会第四季主要围绕因果表征学习引论、理论基础、技术框架，以及在机器学习领域和在工业界中的具体的应用进行深度探讨，系统梳理因果表征学习领域并促进相关的研究。自2022年12月31日开始，每周六晚上20:00-22:00举办，持续时间预计 10 周。欢迎对本话题感兴趣的朋友报名参加！（附第四季资源列表）