导语

这篇论文发表于 ICLR 2020，作者是南加大 Melady 实验室的博士生Sungyong Seo。文章主要关注的是只具有稀疏观测数据的，背后由物理规律所支配的系统的预测问题。提出了Physics-aware Difference Graph Networks (PA-DGN) 模型，其中包含一个可学习的梯度组件，用来建模图上的差分信息。实验证明，该模型在图上的方向导数近似，以及图信号预测任务中，均达到 State-of-the-art 的效果。


本文是对线上论文解读活动内容的整理，课程录播视频已上线，详情见下文。系列读书会目前开放报名中，详情见文末。



论文名称



论文题目：
Physics-aware Difference Graph Networks for Sparsely-Observed Dynamics 
from ICLR 2020（用于稀疏观测动力学重构的物理感知差分图网络）
论文地址：
https://openreview.net/forum?id=r1gelyrtwH



论文作者信息

姓名：
Sungyong Seo
工作单位：
University of Southern California
研究兴趣：
Physics-inspired machine learning，Spatiotemporal data mining，Graph-based neural networks



解读视频：


https://campus.swarma.org/course/1775?from=wechat


本文要解决的问题

解决那些由物理规律，尤其是微分方程支配的网络上的动力学重构。

以往深度学习领域中建模物理规律的文章大多假设观测点是密集采样且均匀分布的，而实际当中并不是这样，比如气候问题中，稀疏分布的空气质量监测站。图神经网络虽然能够解决不规则分布的采样点的建模，但是缺乏物理建模的能力。而本文提出了一个新的图神经网络组件，可以图神经网络具备进行物理建模的能力，具体来讲是要学习图上节点的差分信息。

例如弹簧小球模型，我们输入给 GNN 的 feature 维度是 4，x、y 位置坐标信息以及x、y 方向的速度。其中速度信息可以理解为位置信息的梯度。在本文所关注的问题中，我们只能拿到节点的位置信息，而本文要做的就是让模型自己学出状态的梯度信息（速度），进而完成更好的预测。



此外，还有热扩散中，不同区域的扩散速度与状态值以及热量差有关系（这就是上面说的差分），如果不知道这个差分信息，可能无法很好的预测。
  


背景

之前没有人在图神经网络上做这个模块。不使用图神经网络做物理建模的和不使用物理建模的图神经网络是有的。但是要解决那些由物理规律支配的网络上的动力学重构，且观测点是稀疏的，目前来看用本文的方法可以达到最优程度。
 
 

算法框架


提出了一个叫 SDL 的模块，这个模块计算输入给图上的信号，得到两个信息，一个是节点的梯度信息（就是节点 i 和邻居节点 j 的状态的差值）还有拉普拉斯值（类似于 GCN 的公式）。然后再与原来的图上的信息结合起来，传给后面的循环图神经网络，做节点状态的预测。
 
 

算法的关键模块


本文最重要且我们可能会用到的模块就是SDL——空间信息差分层，这个模块套用了基本的偏微分方程的解决手段，比如有限元法，三角剖分法等，设计了可学习的空间差分模块。用来给图信号附加上额外的辅助信息，进一步输入到后面的循环神经网络中，从而做动力学建模。



论文的实验和结果

实验分两类，真实数据和合成数据：

真实数据：
北美东西海岸的温度监测站，用本文算法预测温度。


本文算法好于其他算法，尤其是红色框中的，PA-DGN 和 RGN 的区别是是否使用 SDL 这个物理模块。

 


合成数据：

用下面的公式描述的动力学生成面数据，然后随机采样得到点观测数据。




讨论与思考

这篇文章提出了一个可以应用于GNN上的一个模块，通过这一模块我们可以自动学习节点信息的差分，从而进一步完成更好的预测。本文所提供的方法适用于被微分方程支配的复杂网络系统。无论是在节点状态预测，还是网络重构中，我们都可以尝试加入这一组件，提升任务的准确性。



“面向复杂系统的人工智能”

系列闭门读书会报名中


读书会主题

本次读书会将会围绕下面二个子主题，分别是：

  • 基于深度学习的复杂系统自动建模
  • 基于可解释性的因果推断方法论

为更好的进行学习，交流与讨论，本系列读书会是闭门读书会。我们会选取其中的少数几期进行直播，本次直播便是其一。
 
 

读书会目的

本次读书会的目的是通过闭门分享讨论的形式，我们将为大家提供更加沉浸，深度，自由的交流环境。
 
此外，本次读书会还将选拔数名进行过高质量分享的青年学者免费参与我们后续的闭门研讨活动：“集智-凯风研读营”。研读营是集智年度最高水准的闭门科学研讨活动，是集智科学家们的年度聚会。
 

网络几何与深度学习—2018集智凯风研读营



参与方式及时间

时间：

从7月5日起，每周日晚上 20:00-21:30（暂定），持续时间预计 2-3 个月，今天为系列读书会第二期。

参与方式、报名费用、规则、报名入口及读书会路径等信息请点击：闭门读书会招募：面向复杂系统的人工智能研究 | 集智凯风研读营-预备营


推荐阅读


张江：怎样搞定复杂系统动力学重构？百篇资料一站获取
Science经典论文：如何检测复杂生态系统中的因果关系？
因果观念新革命？万字长文，解读复杂系统背后的暗因果
人工生命全景图：如何创造出超越人工智能的生命系统
加入集智，一起复杂！





集智俱乐部QQ群｜877391004

商务合作及投稿转载｜swarma@swarma.org

◆ ◆ ◆

搜索公众号：集智俱乐部


加入“没有围墙的研究所”

让苹果砸得更猛烈些吧！



👇点击“阅读原文”，了解更多论文信息