集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，了解前沿进展，激发科研灵感，促进科研合作，降低科研门槛。

读书会活动始于 2008 年，至今已经有 40 余个主题，内容涵盖复杂系统，人工智能，脑与意识，量子纠缠，张量网络，计算社会科学等。凝聚了众多优秀科研工作者，促进了科研合作发表论文，孵化了许多科研产品。如 2013 年的“深度学习”读书会孕育了彩云天气 APP，2015 年的“集体注意力流”读书会产生了众包书籍《走近2050》等。

背景

近 3 年来，随着数据量的井喷式增长，计算效率的显著提升，以深度学习为代表的人工智能技术迎来了第三次高潮，许多人工智能的产品应用在生活的方方面面，如人脸识别，机器翻译，语音识别等。但是进一步，人们希望机器可以辅助决策时却发现，以人类的视角没有办法很好的理解机器的决策，这时候就存在人与机器的「信任鸿沟」。我们不敢真正信任机器的决策，这也是人工智能在落地智能金融，无人驾驶等更复杂领域时遇到的问题和瓶颈。

所以为了更好利用机器的智能，理解复杂世界，人们开始寻求新的解释世界的方式：希望可以从「复杂系统」的角度进行突破，借助人工智能的方法和技术，揭开人工智能的黑箱，实现人与机器的真正信任。

集智俱乐部一直以来都是国内研究复杂科学的前沿阵地，我们希望可以发动社区内相关领域的研究者，一起来共同学习和探索，结合复杂系统的理论和方法，来更好的理解人工智能。所以我们发起了「面向复杂系统的人工智能研究」读书会。本次读书会将会围绕下面二个子主题，分别是：

基于深度学习的复杂系统自动建模
基于可解释性的因果推断方法论

读书会目的

本次读书会的目的是通过闭门分享讨论的形式，我们将为大家提供更加沉浸，深度，自由的交流环境。帮助大家了解面向复杂系统的人工智能研究和前沿进展，了解深度学习，因果推断等方法论如何与复杂系统研究相互影响。为大家在自己的研究领域引入何种人工智能方法提供灵感。

此外，本次读书会还将邀请数名进行过高质量分享的青年学者参与我们后续的闭门研讨活动：“集智-凯风研读营”。研读营是集智年度最高水准的闭门科学研讨活动，是集智科学家们的年度聚会。在研读营期间，你将与多位来自不同领域，世界各个高校的集智科学家们进行为期一周的广泛而深刻的闭门交流，共享前沿知识和灵感。历届研读营都是集智科学家相互赋能的平台，每次研读营之后，集智科学家们都会带着新的灵感进一步推进自己的研究。

网络几何与深度学习—2018集智凯风研读营

参与方式及时间

参与人员：

本次读书会复杂是由集智凯风研读营学术委员会成员张江老师发起，欢迎对或者正在进行相关研究的朋友加入进来，一起进行深度的跨学科交流。

运行模式：

从下周日（7月5日）开始，每 1 周由2-3名读书会成员领读相关论文（以 PPT 讲解的形式，直播间互动交流）。

时间：

每周日晚上 21:00-23:00（暂定）持续时间预计 2-3 个月。

方式：

此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。

费用：

为了过滤一些非专业人士，甄选出真正对深度学习感兴趣、有相关研究经验的专业人士，也为激励小伙伴们坚持学习，本期读书会将采取收费 – 退款的保证金模式。

具体规则：

1. 读书会（6-8期）保证金共计 399 元/人。

2. 满足如下条件者全额退款：

贡献了一次讲座（半小时以上）内容的（需要提前向主持人申请并通过试讲）；
完成了一篇以上读书笔记写作的（读书笔记标准：字数3千以上，图文并茂，具体请参照此文：因果观念新革命？万字长文，解读复杂系统背后的暗因果）；
复现读书会中某篇讲读论文的结果并提交代码；

3. 满足以下条件之一的不仅可以全额退款，还有额外奖励：

由读书会内容启发，产生了靠谱的新产品创意，并在读书会结束 2 个月内提交了详细的产品策划方案，并通过了集智俱乐部组织的相应考核答辩的；
由读书会内容启发，萌发了科研论文创意，并在读书会结束 2 个月内完成初稿，并通过了集智俱乐部组织的相应考核答辩的；

上述规则的最终解释权归集智俱乐部所有。

报名：（长期有效）

第一步：扫码填写报名信息。

第二步：信息填写之后，会弹出对应的负责人微信二维码，截图扫码添加二维码即可。

第三步：添加负责人微信号，提交保证金399元。

第四步：拉入对应的读书会讨论群。

第五步：想进一步继续参与研读营的朋友，发送简历或个人网站，research gate主页等能说明身份的资料给到负责人，在读书会结束之后，将公布研读营入选名单。

我们也会对每次分享的内容进行录制，剪辑后发布在集智学园的官网上，欢迎大家关注！

第一期读书会预告：张江分享

深度学习与复杂系统建模

深度学习当属当前人工智能领域的新星，随着人工智能和复杂系统学科的发展，近期两个学科出现了令人兴奋的交叉。在首次读书会中，张江老师将以深度学习与复杂系统建模为主题进行分享。

在人工智能、深度学习的助力下，复杂系统建模已经步入了自动化的阶段。根据复杂系统的运行数据（时间序列），深度学习系统即可以模拟系统的运行、预测系统的未来状态。随着图网络、神经微分方程（Neural ODE）以及标准化流（Normalization Flow）等技术的发展，这方面的研究如今呈现出了井喷的模式。人们不仅能够精准地构建复杂系统的动力学模型，而且还能在带有噪声、带有隐含节点、隐含变量，以及小数据的系统上自动构建模型。

另一方面，随着因果推断技术的发展成熟，越来越多的能够自动从数据中提炼出因果关系，并具备一定可解释性能力的深度学习模型逐渐被提出。而近来这两大方向的发展正在逐渐呈现新的交叉、合并之势。通过引入图结构学习技术，深度学习算法不仅可以精准地预测系统动力学，还能够自动提炼因果结构，甚至能够与系统进行互动和干预，还能逐渐攀爬 Judea Pearl 所说的三阶因果之梯。本讲座将站在一种较宏观的视角对这些技术进行概述，内容将涉及但不限于：运用 Reservior 计算预测混沌、基于图网络的自动建模与控制、基于最优控制的可微分 ODE 求解技术、基于自注意力机制的人工智能统计物理学家、基于 Gumbel softmax 技术的网络重构、基于神经网络的格兰杰因果检验、基于强化学习的干预因果模型等。

主讲人：张江

张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。曾在Nature Communications、Scientific Reports、Physical Review E、Journal of Theoretical Biology等国际知名刊物上发表过学术论文六十余篇。出版专著《数字创世纪——人工生命的新科学》、译著《自然与人工系统中的适应》、校译《规模》等著作；曾主持《互联网上的集体注意力流研究》、《加权有向食物网的异速标度律研究》等多项国家级科研项目。曾多次因合作研究而出访过国际知名研究院所或高校，包括美国圣塔菲研究所（Santa Fe Institute）、亚利桑那州立大学（Arizona State University）、密西根大学（Michigan University）等。其开创的集智俱乐部是国内外知名的学术社区，致力于复杂系统、人工智能等多领域的跨学科交流与合作。

论文清单

论文清单即是本次读书会分享的论文来源，我们也欢迎读书会的参与者贡献相关领域的其他经典或前沿的文章与大家分享。

复杂系统的自动建模论文清单

Alvaro Sanchez-Gonzalez,Nicolas Heess,Jost Tobias Springenberg.et al.: Graph networks as learnable physics engines for inference and control ,arxiv,2018

简评：这篇文章是用图网络方法进行多体系统动力学学习以及控制的经典论文
Thomas Kipf,Ethan Fetaya,Kuan-Chieh Wang.et al.: Neural Relational Inference for Interacting Systems ,arXiv:1802.04687, 2018.

简评：这篇文章首次将显示地学习网络结构与系统的动力学规则结合在了一起。
Seungwoong Ha,Hawoong Jeong: Towards Automated Statistical Physics : Data-driven Modeling of Complex Systems with Deep Learning ,arxiv,2020

简评：该篇将NLP中的Transformer模型中的自注意力机制应用到了多体复杂系统中的自动建模问题中来。可以学习动态的网络结构以及动力学。
Danilo Jimenez Rezende Shakir Mohamed: Variational Inference with Normalizing Flows, arXiv:1505.05770v6

简评：这篇文章提出了一种新型梯度计算方法，能够更加方便、快速地对概率密度函数进行梯度计算，从而进行变分推断，目前几乎已经成为了动力学学习中的一种必备方法。
Fan Yang†, Ling Chen∗†, Fan Zhou†, Yusong Gao‡, Wei Cao：RELATIONAL STATE-SPACE MODEL FOR STOCHASTIC MULTI-OBJECT SYSTEMS, arXiv:2001.04050v1

简评：这篇文章提出了一种基于状态空间的随机多体系统自动学习建模方法。
Ricky T. Q. Chen*, Yulia Rubanova*, Jesse Bettencourt*, David Duvenaud: Neural Ordinary Differential Equations, arXiv:1806.07366v5

简评：这篇文章首次提出了运用最优控制原理可微分地求解常微分方程的方法，并将深度网络连续化，并视作一种动力系统，因此对深度网络的训练也被转化为一种常微分方程的求解问题。
Michael John Lingelbach, Damian Mrowca, Nick Haber, Li Fei-Fei, and Daniel L. K. Yamins: TOWARDS CURIOSITY-DRIVEN LEARNING OF PHYSICAL DYNAMICS, “Bridging AI and Cognitive Science” (ICLR 2020)

简评：这是一篇提出了让机器主动干扰物理系统，从而更有效地学习物理体系规则的人工智能系统。
Chengxi Zang and Fei Wang: Neural Dynamics on Complex Networks, AAAI 2020

简评：AAAI 2020 的 best paper，将 Neural ODE 与图网络结合针对复杂网络的一般的动力学西问题，利用最优控制原理进行求解。该文还将半监督节点分类问题也转化为最优控制问题，从而取得了显著的效果。

因果推理论文清单

Judea Pearl 如下的三篇论文是现代因果推理的必读文章：

J. Pearl, “The Seven Tools of Causal Inference with Reflections on Machine
Learning,” July 2018. Communications of ACM, 62(3): 54-60, March 2019 J. Pearl, “Causal and counterfactual inference,” October 2019. Forthcoming section in The Handbook of Rationality, MIT Press.
J. Pearl, “Causal inference in statistics: An overview,” Statistics Surveys, 3:96–146, 2009.

简评：第一篇首先指出当前强人工智能的三大主要困难，然后指出现代因果模型将会帮助解决这些困难。介绍了因果推理本质的三级因果之梯，提出一个回答因果问题的引擎，总结了因果推理当前七大工具。第二篇文章介绍了结构因果模型（SCM）的理论框架及其应用。第三篇文章是因果推理的一个全面细致的综述。

Bernhard Scholkopf 及其团队，有两篇关键论文：

Causality for machine learning, B Schölkopf – ‎2019

简评：这是一篇刚刚挂 arxiv 就被 Pearl 亲自 Twitter 点赞的论文，是马普智能所所长 Bernhard Scholkopf 最引以为傲的论文之一，他当时将被 Pearl 点赞这事情迅速的写在其个人主页自我介绍的第一段中。Scholkopf 及其团队在因果结合机器学习方面做了最多的工作，此文总结和升华了提出了信息革命时代下因果结合机器学习的一般理论和深刻思考。如果 Judea Pearl 对于因果推理的贡献是从零到一，那么有人称 Causality for machine learning 把因果推理从1 推进到1.5，这篇文章总结和阐述了其团队在融合 Machine learning 和 Causal inference 多年工作成果和深刻见解。第二篇文章展示了其团队解决有环因果模型这一个根本性难题的努力尝试。
Foundations of Structural Causal Models with Cycles and Latent Variables, Bongers etc -2020

简评：本文在更一般的情况中研究 SCMs，允许潜变量混杂因素和 Cycles 的存在。证明在存在循环的情况下，无环 SCMs 的许多方便的性质通常并不成立: 它们并不总是有解; 它们并不总是导致独特的观察分布、干预分布和反事实分布; 边际化并不总是存在等问题。

Causal Inference and Data-Fusionin Econometrics , P. Hünermund, E. Bareinboim(Pearl 学生).Dec, 2019.

简评：是在披着经计量济学的皮讲解着 Causal AI 如何解决混杂偏差，选择偏差和迁移学习等这些难题的因果理论框架。该文章是现代因果理论如何结合某个具体领域的标杆文章，也就是 Pearl 的因果推理引擎如何影响某一个特定领域–计量经济学的范例。

A Survey on Causal Inference, 2020 Liuyi YAO etc

简评：Pearl‘s 结构因果模型并不是当前唯一流行的因果建模框架，Potential Outcome 是另外一个主流因果建模框架，尤其是在计量经济学，流行病学等非 AI 领域非常流行。观测数据因果推断是热点，尤其是结合机器学习，本文介绍在潜结果框架下的因果推断方法，这些方法可以按照其所需要的因果假设分类，而每个类别我们会分别介绍对应的机器学习和统计方法，也会介绍其在各领域的应用，最后我们会介绍各种方法的 Benchmark.

Deep Structural Causal Models for Tractable Counterfactual Inference

简评：（利用因果图模型研究 Judea Pearl 的因果三阶梯，文章使用未来因果推理潜力工具 Pyro 进行建模！）We formulate a general framework for building structural causal models (SCMs) with deep learning components. The proposed approach employs normalising flows and variational inference to enable tractable inference of exogenous noise variables – a crucial step for counterfactual inference that is missing from existing deep causal learning methods. Our framework is validated on a synthetic dataset built on MNIST as well as on a real-world medical dataset of brain MRI scans. Our experimental results indicate that we can successfully train deep SCMs that are capable of all three levels of Pearl’s ladder of causation: association, intervention, and counterfactuals, giving rise to a powerful new approach for answering causal questions in imaging applications and beyond. The code for all our experiments is available at https://github.com/biomedia-mira/deepscm.

其他可选论文包括：

Kun Kuang 老师的 Stable Learning 相关论文
Calculus For Stochastic Interventions: Causal Effect Identification and Surrogate Experiments, J. Correa, E. Bareinboim. AAAI-20.
A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms 2019 by Yoshua Bengio etc.
A Second Chance to Get Causal Inference Right: A Classification of Data Science Tasks 因果推断前言综述 by Migual. A recent influx of data analysts, many not formally trained in statistical theory, bring a fresh attitude that does not a priori exclude causal questions.
时间序列因果

Granger Causality, Neural Granger Causality

https://arxiv.org/abs/1802.05842

相关的入门参考资料如下：

一个人，一篇论文，一个视频，一个slide, 一个会议，一个教程，一句话，说明因果推断：

https://causalai.github.io/clubjizhi/notebooks/02_OneCausality.html

从 Judea Pearl 到 Bernhard Scholkopf，再到 Youshua Bengio 和相关综述来把握因果理论前沿研究：

https://causalai.github.io/clubjizhi/readme/01-quick_survey.html

序列数据因果推断：

经典教材 Elements of Causal Inference: Foundations and Learning Algorithms Ch10 Time Series 和全面综述博客 Inferring causality in time series data A concise review of the major approaches.

集智凯风研读营：

“集智凯风研读营” 项目是由凯风研读营资助，集智俱乐部发起的学术交流活动。通过特定学术主题，汇聚术业有专攻但又视野广阔的青年学者，举行 5-7 天的封闭式交流营活动。通过深度研读讨论前沿科学研究，共同界定和审视一些新的问题，使得在当前学术体制下，实现跨文化、跨学科、跨领域的学术创新，形成真正具有原创思想能力的学术共同体。

集智俱乐部：

集智俱乐部，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 “没有围墙的研究所”。

凯风基金会：

凯风公益基金会主要通过机构合作方式，对在学术研究、政策研究、教育和公益实践方面获得重要成果、具备实力和潜力的学术精英和公益精英，进行资助和奖励，进而达到提升公共福利、增加公众利益、传播公益思想的目的。推动公共领域领导者的涌现，进而构建一个公正、良善的社会。

更详细的论文清单，请扫描下方二维码获取👇