导语


本次分享主要介绍多尺度建模的两个应用,分享一涵盖了三篇将图池化(粗粒化)应用在链路预测领域的论文,介绍了图池化的基本思路,也将汇报现有论文中基于图粗粒化的链路预测算法的基本思路。分享二则将机器学习方法引入复杂系统多尺度建模的工作,利用机器学习中的自编码器自动化地学习有效的粗化方法,从而提升多尺度建模的效率。同时在建模动态系统的演化时摒弃了原有的数值积分方法,采用机器学习中的循环神经网络捕捉系统演化模式。


因果涌现读书会第二季主要围绕追根溯源、因果涌现、因果表示学习、机器学习多尺度自动建模、量子因果五大主题来探寻涌现、因果科学和机器学习这三大主题之间的联系。自2022年5月22日开始,每周日晚上19:00-21:00举办,持续时间预计7-8周。欢迎对本话题感兴趣的朋友报名参加!




分享一:

图池化及其在链路预测领域的应用




跟读书会主题之间的关系


复杂系统通常可以抽象为一个由节点和连边(链路)组成的图(graph),在生物学、社会学和信息科学等领域有着广泛的应用。然而,大多数真实的网络数据是不完整的。因此,基于已经观察到的链路,对尚未观察到的链路进行预测,也就是链路预测问题,是一个重要的科学问题。池化(pooling)也被称为降采样或粗粒化,其目的在于在提升特征的语义层级的同时降低其维数。图池化旨在对图结构数据进行粗粒化操作,为复杂系统的涌现分析提供了一个较为新颖的具体应用场景。近年来,因果理论也是机器学习领域的一个研究热点。希望通过这次论文解读激发大家对于因果涌现在图表示学习和图神经网络领域的应用的讨论。

报告内容简介


复杂系统通常可以抽象为一个由节点和连边(链路)组成的图(graph),在生物学、社会学和信息科学等领域有着广泛的应用。近年来,图神经网络逐渐成为了挖掘图数据的一个重要工具,而基于谱的图卷积神经网络是图神经网络的一个重要分支。本次分享首先介绍了谱图神经网络的基础知识。此外,研究复杂系统的涌现行为,通常涉及到对复杂系统进行粗粒化操作,这对应于图结构上的池化(pooling)操作。本次分享以三篇论文为例,介绍了图池化的基本思路。最后,大多数真实的图数据是不完整的,因此,基于已经观察到的链路,对尚未观察到的链路进行预测,是一个重要的科学问题。本次分享也将汇报现有论文中基于图粗粒化的链路预测算法的基本思路。

【大纲】
卷积神经网络中的池化

卷积和池化的基本概念

对池化操作的直观理解:一个例子

GNN基础:图上的卷积操作

基于谱(Spectral)的卷积

基于消息传递(Message Passing)的空间域(Spatial)卷积

图池化(Graph Pooling)

图池化概述

Flat pooling (Graph readout)

Node drop pooling: Graph U-net中的Top-K池化    Node clustering pooling: DiffPool

图粗粒化在链路预测中的应用

概述:基于h跳封闭子图的图粗粒化

Weisfeiler-Lehman Neural 

Machine (WLNM)

SEAL框架

A Multi-Scale Approach for Graph Link Prediction

总结

【主要涉及到的知识概念】
卷积神经网络 Convolutional Neural Networks
池化 Pooling
图神经网络 Graph Neural Networks
基于谱的图卷积 Spectral-based Graph Convolution
图池化 Graph Pooling
链路预测 Link Prediction


主讲人介绍

修宇璇,清华-伯克利深圳学院博士研究生在读,主要的研究方向是复杂网络的链路预测及其在技术创新管理领域的应用。


参考文献

[1]X. Chen, “Understanding Spectral Graph Neural Network,” Sep. 2021. doi: 10.13140/RG.2.2.27579.03364/1.
[2]H. Gao and S. Ji, “Graph U-Nets,” in Proceedings of the 36th International Conference on Machine Learning, May 2019, pp. 2083–2092.
[3]Cai, Lei, and Shuiwang Ji. “A multi-scale approach for graph link prediction.” In Proceedings of the AAAI conference on artificial intelligence, vol. 34, no. 04, pp. 3308-3315. 2020.





分享二:

机器学习方法赋能的复杂系统多尺度建模




跟读书会主题之间的关系


与读书会之间的关系:这篇文章是将机器学习方法引入复杂系统多尺度建模的工作,多尺度建模能够利用细粒度建模与粗粒度建模之间的关系挖掘因果涌现规律。

与复杂系统之间的关系:这篇文章主要针对复杂系统建模,而复杂系统是因果涌现的前置条件。


报告内容简介


本文是将机器学习方法引入复杂系统多尺度建模的工作,多尺度建模能够利用细粒度建模与粗粒度建模之间的关系挖掘因果涌现规律。多尺度建模方法中的重点在于寻找合适的粗化方法,完成信息从细粒度到粗粒度的转化。粗化方法随着多尺度建模方法的演化经历了从人工粗化到矩阵计算的变革,但这一过程始终不够自动化,且效率较低,本文则提出利用机器学习中的自编码器自动化地学习有效的粗化方法,从而提升多尺度建模的效率。同时在建模动态系统的演化时摒弃了原有的数值积分方法,采用机器学习中的循环神经网络捕捉系统演化模式。总的来说,本文验证了机器学习方法在复杂系统多尺度建模方面的有效性,也扩展了粗化方法的范式。

【大纲】
复杂系统以及大规模仿真 /Complex systems
复杂系统的多尺度仿真/Multiscale simulation for complex systems

相关背景知识(What/Why/How)/  Multiscale simulation

多尺度建模方法介绍 / Muliscale simulation methods

粗化方法对比 / Coarsen method comparison

更有效的多尺度建模方法/ Effective multiscale simulation

挑战 /Challenge

解决方案与框架/Proposed solution and framework

实验结果分析/ Result analysis

一张图总结 / The whole picture of coarsen method comparison

【涉及到的知识概念】
复杂系统  Complex system
多尺度仿真  Multiscale simulation
粗化方法  Coarsen methods
机器学习  Machine learning


主讲人介绍

寄家豪,北京航空航天大学计算机学院数据挖掘方向博士,主要研究内容是城市计算与可解释性。


参考文献

[1] Vlachas, Pantelis R. , et al. “Multiscale Simulations of Complex Systems by Learning their Effective Dynamics.” (2020).
[2] Engquist, Bjorn , et al. “Heterogeneous Multiscale Methods: A Review.” Communications in Computational Physics, 2007, 2(3): 367-450.
[3]Aditya, Bindala, Marianthi G.Ierapetritou, et al.”Equation-free, coarse-grained computational optimization using timesteppers”,Chemical Engineering Science,Vol.61, no.2, January 2006, pp. 779-793




报告参与信息




时间:
2022年10月9日(周日)晚上19:00-21:00

参与方式:

  • 智俱乐部 B 站免费直播,扫码可预约

  • 文末扫码付费参加因果涌现读书会第二季可加入腾讯会议,可提问交流,加入群聊,获取回看地址及更多学习资料,成为因果涌现社区种子用户,与因果涌现社区的一线科研工作者沟通交流,共同推动因果涌现社区的发展


因果涌现读书会第二季招募中


跨尺度、跨层次的涌现是复杂系统研究的关键问题,生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具,有望破解复杂系统的涌现规律。同时,新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。


由北京师范大学教授、集智俱乐部创始人张江和加州大学圣地亚哥分校助理教授尤亦庄等人发起的「因果涌现」系列读书会第二季,将组织对本话题感兴趣的朋友,深入研读相关文献,激发科研灵感。本读书会自2022年5月22日开始,每周日晚19:00举办,预计持续7-8周。欢迎感兴趣的朋友报名参与。


本季读书会详情与报名方式请参考:
因果、涌现与机器学习:因果涌现读书会第二季启动


点击“阅读原文”,报名读书会