直播预告

深度学习当属人工智能领域的新星，随着人工智能和复杂系统学科的发展，近期两个学科出现了令人兴奋的交叉。在首次读书会中，张江老师将以深度学习与复杂系统建模为主题进行分享。

在人工智能、深度学习的助力下，复杂系统建模已经步入了自动化的阶段。根据复杂系统的运行数据（时间序列），深度学习系统即可以模拟系统的运行、预测系统的未来状态。随着图网络、神经微分方程（Neural ODE）以及标准化流（Normalization Flow）等技术的发展，这方面的研究如今呈现出了井喷的模式。人们不仅能够精准地构建复杂系统的动力学模型，而且还能在带有噪声、带有隐含节点、隐含变量，以及小数据的系统上自动构建模型。
 
另一方面，随着因果推断技术的发展成熟，越来越多的能够自动从数据中提炼出因果关系，并具备一定可解释性能力的深度学习模型逐渐被提出。而近来这两大方向的发展正在逐渐呈现新的交叉、合并之势。通过引入图结构学习技术，深度学习算法不仅可以精准地预测系统动力学，还能够自动提炼因果结构，甚至能够与系统进行互动和干预，还能逐渐攀爬 Judea Pearl 所说的三阶因果之梯。本讲座将站在一种较宏观的视角对这些技术进行概述，内容将涉及但不限于：运用 Reservior 计算预测混沌、基于图网络的自动建模与控制、基于最优控制的可微分 ODE 求解技术、基于自注意力机制的人工智能统计物理学家、基于 Gumbel softmax 技术的网络重构、基于神经网络的格兰杰因果检验、基于强化学习的干预因果模型等。

在本次读书会中，张江老师将会对如上领域的代表性文章进行综述与解读。

直播地址：集智俱乐部 B 站直播间

👀关注B站主播“集智俱乐部”
不错过每一场集智重磅直播

直播地址：

https://live.bilibili.com/8091531

直播时间 ：20:00-21:30


主讲人：张江
直播时间：7月5日（周日） 20:00-21:30


深度学习与复杂系统自动建模


复杂系统是由大量粒子通过相互作用形成复杂的动态。所谓的自动建模就是根据我们观测到的复杂系统的行为表现而自动重构成系统是如何相互作用的。

一般来讲，系统的行为表现多体现为多个时间序列。而系统之间的相互作用多可以用网络进行表示。于是，自动建模问题就转化为如何通过系统运行的时间序列，自动构建出各个单元之间的互动网络，同时学习出每个节点的动力学。

本次分享则重点放在综述用神经网络、深度学习方法实现的各种方法和文献。我们将按照动力学学习、网络结构学习及其它这三个方面来综述。

使用 Transformer 架构学习鸟群复杂系统的运动模式


 

动力学学习：

所谓的动力学学习是指根据时间序列重构系统运转的动力学法则。经典的动力学学习的方法是使用 RNN，直接从时间序列里面提取出一个自回归模型。一个比较经典的基于 RNN 的多个时间序列预测的工作可以参考论文：
论文题目：
Deep Multi-Output Forecasting: Learning to Accurately Predict Blood Glucose Trajectories
论文地址：
https://arxiv.org/abs/1806.05357

虽然基于 RNN 的模型应用范围很广，但是它没有应用任何先验知识，特别是关于各个变量之间的关联。这就有了图网络的引入。


图网络方法

在时间序列自动学习方面，下面这篇文章是很好的典范。图网络不仅很好地学习了动力学，而且还能够在学好的动力学上做控制。
论文题目：
Graph networks as learnable physics engines for inference and control
论文地址：
https://arxiv.org/abs/1806.01242
 
使用图网络方法建模机械系统

2018年的 ICLR 会议上，一篇题为 Neural Ordinary Differential Equation 的文章引发了大量的关注。在短短 2 年不到的时间里，已经在 Google Scholar 上获得了 500 多的引用：
论文题目：
Neural Ordinary Differential Equation
论文地址：
https://arxiv.org/abs/1806.07366

尽管有很多人批判这篇文章创新性欠佳，但是它的巧妙之处就在于在关键的时间点，对多方面发展起来的技术进行了融汇贯通。

首先，尽管不是这篇文章首发，但它明确指出可以将 ResNet 拓展为一种微分方程的形式。于是，ResNet 变成了无穷深的网络，而神经网络的训练问题也变为了微分方程的求解问题。

其次，该文章提出了基于伴随方程的训练求解方法。我们终于可以摆脱自动梯度反传方法的束缚了。尽管人们发现这种方法除了可以节省内存外，并没有在精度上有很大提升。

最后，该文章融合了另一项很火的技术，就是“归一化流”（Normalizing Flows）。这种技术可以通过训练一个可逆的映射，从而简化概率函数的训练求解。而 NeuralODE 则可以将其提升为一种漂亮的连续的形式。关于Normalizaing flows后面会介绍。
 

图结构学习

在图结构学习中，我们可以学习复杂系统相互作用的结构。这里给出这个领域的代表性文章。

动态图结构学习：
论文题目：
Pointer Graph Networks
论文地址：
https://arxiv.org/abs/2006.06380

使用图网络进行结构和动力学学习：
论文题目：
A General Deep Learning Framework for Network Reconstruction and Dynamics Learning
论文地址：
https://appliednetsci.springeropen.com/articles/10.1007/s41109-019-0194-4

基于神经网络的格兰杰因果检验：
论文题目：
Neural Granger Causality for Nonlinear Time Series
论文地址：
https://arxiv.org/abs/1802.05842

基于 NRI 的因果推断模型：
论文题目：

Neural Relational Inference for Interacting Systems

论文地址：
https://arxiv.org/abs/1802.04687

主讲人：张江


张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。曾在Nature Communications、Scientific Reports、Physical Review E、Journal of Theoretical Biology等国际知名刊物上发表过学术论文六十余篇。出版专著《数字创世纪——人工生命的新科学》、译著《自然与人工系统中的适应》、校译《规模》等著作；曾主持《互联网上的集体注意力流研究》、《加权有向食物网的异速标度律研究》等多项国家级科研项目。曾多次因合作研究而出访过国际知名研究院所或高校，包括美国圣塔菲研究所（Santa Fe Institute）、亚利桑那州立大学（Arizona State University）、密西根大学（Michigan University）等。其开创的集智俱乐部是国内外知名的学术社区，致力于复杂系统、人工智能等多领域的跨学科交流与合作。


“面向复杂系统的人工智能”

系列闭门读书会报名中


近 3 年来，随着数据量的井喷式增长，计算效率的显著提升，以深度学习为代表的人工智能技术迎来了第三次高潮，许多人工智能的产品应用在生活的方方面面，如人脸识别，机器翻译，语音识别等。但是进一步，人们希望机器可以辅助决策时却发现，以人类的视角没有办法很好的理解机器的决策，这时候就存在人与机器的「信任鸿沟」。我们不敢真正信任机器的决策，这也是人工智能在落地智能金融，无人驾驶等更复杂领域时遇到的问题和瓶颈。

所以为了更好利用机器的智能，理解复杂世界，人们开始寻求新的解释世界的方式：希望可以从「复杂系统」的角度进行突破，借助人工智能的方法和技术，揭开人工智能的黑箱，实现人与机器的真正信任。


读书会主题

本次读书会将会围绕下面二个子主题，分别是：

  • 基于深度学习的复杂系统自动建模
  • 基于可解释性的因果推断方法论

为更好的进行学习，交流与讨论，本系列读书会是闭门读书会。我们会选取其中的少数几期进行直播，本次直播便是其一。
 
 

读书会目的

本次读书会的目的是通过闭门分享讨论的形式，我们将为大家提供更加沉浸，深度，自由的交流环境。帮助大家了解面向复杂系统的人工智能研究和前沿进展，了解深度学习，因果推断等方法论如何与复杂系统研究相互影响。为大家在自己的研究领域引入何种人工智能方法提供灵感。
 
此外，本次读书会还将邀请数名进行过高质量分享的青年学者免费参与我们后续的闭门研讨活动：“集智-凯风研读营”。研读营是集智年度最高水准的闭门科学研讨活动，是集智科学家们的年度聚会。在研读营期间，你将与多位来自不同领域，世界各个高校的集智科学家们进行为期一周的广泛而深刻的闭门交流，共享前沿知识和灵感。历届研读营都是集智科学家相互赋能的平台，每次研读营之后，集智科学家们都会带着新的灵感进一步推进自己的研究。
 

网络、几何与机器学习—2019集智凯风研读营



参与方式及时间

运行模式：

从7月5日开始，每 1 周由 2-3 名读书会成员领读相关论文，进行线上闭门会议，与会者可以广泛参与讨论。
 

时间：

每周日晚上 20:00-21:30（暂定）持续时间预计 2-3 个月。
 

方式：

此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。
 

费用：

为了过滤一些非专业人士，甄选出真正对深度学习感兴趣、有相关研究经验的专业人士，也为激励小伙伴们坚持学习，本期读书会将采取收费 – 退款的保证金模式。

 

具体规则：

1. 读书会（6-8期）保证金共计 399 元/人。
2. 满足如下条件者全额退款：
  • 贡献了一次讲座（半小时以上）内容的（需要提前向主持人申请并通过试讲）；
  • 完成了一篇以上读书笔记写作的（读书笔记标准：字数3千以上，图文并茂，具体请参照此文：因果观念新革命？万字长文，解读复杂系统背后的暗因果）；
  • 复现读书会中某篇讲读论文的结果并提交代码；
3. 满足以下条件之一的不仅可以全额退款，还有额外奖励：
  • 由读书会内容启发，产生了靠谱的新产品创意，并在读书会结束 2 个月内提交了详细的产品策划方案，并通过了集智俱乐部组织的相应考核答辩的；
  • 由读书会内容启发，萌发了科研论文创意，并在读书会结束 2 个月内完成初稿，并通过了集智俱乐部组织的相应考核答辩的；
 

报名入口


第一步：扫码填写报名信息。

第二步：信息填写之后，会弹出对应的负责人微信二维码，截图扫码添加二维码即可。
第三步：添加负责人微信号，提交保证金 399 元。
第四步：拉入对应的读书会讨论群。
第五步：想进一步继续参与研读营的朋友，发送简历或个人网站，research gate 主页等能说明身份的资料给到负责人，在读书会结束之后，将公布研读营入选名单。
 


读书会论文列表


本次读书会论文列表和学习路径已经发表在集智斑图，扫描下方二维码即可获取：

https://pattern.swarma.org/path?id=79&from=wechat


推荐阅读


图网络入门路径：从网络科学视角出发，上手深度学习前沿技术
超越简单规则——用图神经网络对复杂系统进行自动建模
张江：从复杂科学视角，追问生命是什么
加入集智，一起复杂！





集智俱乐部QQ群｜877391004

商务合作及投稿转载｜swarma@swarma.org

◆ ◆ ◆

搜索公众号：集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧！



👇点击“阅读原文”，了解更多相关文献