导语


集智俱乐部联合复旦大学智能复杂体系实验室青年研究员朱群喜、浙江大学百人计划研究员李樵风、清华大学电子工程系数据科学与智能实验室博士后研究员丁璟韬、美国东北大学物理系Albert-László Barabási指导的博士后高婷婷、北京大学博雅博士后曹文祺、复旦大学数学科学学院应用数学方向博士研究生赵伯林、北京师范大学系统科学学院博士研究生牟牧云,共同发起「复杂系统自动建模」读书会第二季,从黑盒(数据驱动)到白盒(可解释性),逐步捕捉系统的“本质”规律,帮助大家更好的认识、理解、预测、控制、设计复杂系统,为相关领域的研究和应用提供洞见。

作为读书会的第一期分享,我们邀请了7位发起人来做概述性分享,将从读书会既定的丰富视角开始,探索这一领域的前沿问题、核心问题,及其解决思路和方法,展现出“多维度认知、调控复杂系统”的现有方法论体系,揭开复杂系统自动建模的面纱。本次分享将于9月5日(本周四)19:10-22:00进行,欢迎感兴趣的朋友参与讨论交流!





本期试呈现下列问题并提出解决思路




如何构建数据驱动的复杂系统建模与调控的数学理论和算法?

如何利用神经常微分方程,解决面向科学的数据驱动建模中的“小样本”难题?

如何通过知识的嵌入提高AI模型的可解释性与泛化能力?

如何自动发现数据中隐藏的动力学模式,挖掘系统的底层机制?

如何从大规模系统中抽丝剥茧,提取出关键因素,降维表示其网络结构?

如何从数据出发去推断复杂系统的网络结构?

如何在多尺度下模拟复杂系统的动态演化,并进行干预?




分享流程




正式分享在19:30开始,每位发起人老师介绍15~20分钟,预计持续到22:00,具体流程如下:

  1. 19:10-19:30 集智俱乐部与读书会介绍

  2. 19:30-19:50 朱群喜:数据驱动的复杂系统建模与调控

  3. 19:50-20:10 李樵风:小样本下的数据驱动建模-基于神经常微分方程

  4. 20:10-20:30 丁璟韬:知识与数据协同的复杂系统模拟方法

  5. 20:30-20:50 高婷婷:数据驱动的可解释复杂系统推理

  6. 20:50-21:20 曹文祺:复杂网络的低秩假设

  7. 21:10-21:30 赵伯林:机器学习与复杂系统结构推断

  8. 21:30-21:50 牟牧云:数据驱动、干预与多尺度下的复杂系统自动建模

  9. 21:50-自由讨论





内容及主讲人介绍




朱群喜:数据驱动的复杂系统建模与调控

朱群喜,复旦大学智能复杂体系实验室青年研究员。致力于复杂系统和机器学习前沿的理论与方法研究,在复杂系统建模、重构、预测和智能调控以及复杂系统驱动的机器学习领域做出了一系列工作,相关成果以第一或通讯作者在综合性、控制、数学、物理、人工智能等顶级/一流学术刊物发表文章20余篇,研究成果得到同行大家的关注和引用 (Edward Ott、Jürgen Kurths、曹进德、桂卫华等院士, Google Research、UC Berkeley、牛津大学、剑桥大学和麻省理工等知名教授专家团队), 以及国际知名学术/科技网站的报道(Phys.org, techxplore.com)。
个人主页:qunxizhu.cn

分享内容简介
随着现实世界中大数据的迅猛增长,如何构建数据驱动的复杂系统建模与调控的数学理论和算法,已成为复杂系统研究中的核心挑战之一。关键问题在于如何高效利用海量或有限的观测数据,深入揭示系统内部机制及其动态运行规律,从而实现对系统演化行为的准确建模和精准调控。在此过程中,发展新型的机器学习算法和工具尤为重要,以应对复杂系统中常见的高维、非线性和不确定性等特性。这不仅有望推动复杂系统和人工智能交叉领域的理论与方法突破,进而提升相关技术在实际应用中的可行性和有效性,加速其在各行业中的落地实施。本次分享将简要地介绍关于复杂系统建模与调控的数据驱动理论方法和算法框架及其相关应用。


分享核心概念

连续深度神经网络,Continuous Deep Neural Networks

系统重构,System Reconstruction

智能调控,Intelligent Control

流匹配,Flow Matching


参考文献

  • Dupont, E., Doucet, A., & Teh, Y. W. (2019). Augmented neural odes. Advances in neural information processing systems, 32.

  • Yan, M., Huang, C., Bienstman, P., Tino, P., Lin, W., & Sun, J. (2024). Emerging opportunities and challenges for the future of reservoir computing. Nature Communications, 15(1), 2056.

  • Chang, Y. C., Roohi, N., & Gao, S. (2019). Neural lyapunov control. Advances in neural information processing systems, 32.

  • Lipman, Y., Chen, R. T., Ben-Hamu, H., Nickel, M., & Le, M. (2023). Flow matching for generative modeling. The Eleventh International Conference on Learning Representations (ICLR 2023).


李樵风:小样本下的数据驱动建模-基于神经常微分方程

李樵风,浙江大学百人计划研究员,博士生导师,获国家高层次人才计划(海外)资助。主要研究方向包括:基于人工智能的科学计算、智能系统感知、复杂结构动力学反问题等。到目前为止,在PRL、Science Robotics、EML、MSSP、Applied Energy等领域重要期刊上发表论文20篇。
课题组主页:https://www.ligroupzju.com

分享内容简介

面向科学的数据驱动建模难以采用时下流行的大模型+大数据范式,因为具体问题往往缺少互联网级数据积累,并且科学数据的采集成本远高于收集语料或者拍摄照片。所以面向科学的数据驱动建模需要开发“小数据集”方法。神经常微分方程方法是实现这一目标的重要工具之一。本次分享主要对神经常微分方程方法及其重要应用进行简要介绍。


分享核心概念

神经常微分方程,Neural Ordinary Differential Equations(Neural ODE)


参考文献

  • Chen, R. T., Rubanova, Y., Bettencourt, J., & Duvenaud, D. K. (2018). Neural ordinary differential equations. Advances in neural information processing systems, 31.

  • Ji, W., & Deng, S. (2021). Autonomous discovery of unknown reaction pathways from data by chemical reaction neural network. The Journal of Physical Chemistry A, 125(4), 1082-1092.


丁璟韬:知识与数据协同的复杂系统模拟方法

丁璟韬,清华大学电子工程系数据科学与智能实验室博士后研究员,于清华大学电子工程系获得学士、博士学位,主要研究方向为AI驱动的时空复杂系统生成式建模及应用,在NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等国际会议与期刊发表学术论文50余篇,担任PLOS Complex Systems的学术编辑(Academic Editor)以及KDD、NeurIPS、ICML、ICLR、AAAI等国际会议的程序委员会委员(PC member),曾获2018年国际万维网大会(WWW 2018)最佳海报论文奖、国际会议IEEE IWCWC 2019、ACM HotPOST 2015最佳论文奖。
主页 https://fi.ee.tsinghua.edu.cn/~dingjingtao/


分享内容简介

以机制模型和AI模型为代表的两类研究分别趋向于“白盒”(可解释)与“黑盒”(不可解释) 两个极端,将已知的知识、符号化的数学语言嵌入AI模型,形成一个介于“黑盒”、“白盒”之间的“灰盒”, 可以通过知识的嵌入提高AI模型的可解释性与泛化能力,本部分着重介绍知识与数据协同的复杂系统模拟方法,以人流移动为例,相比经典的“社会力”物理模型(Social Force),基于真实数据提炼的新物理公式能更好的模拟各种场景下的人群移动。


分享核心概念

物理信息融合神经网络,Physics-Informed Neural Network(PINNs)

符号回归,Symbolic Regression


参考文献

  • Karniadakis, G. E., Kevrekidis, I. G., Lu, L., Perdikaris, P., Wang, S., & Yang, L. (2021). Physics-informed machine learning. Nature Reviews Physics, 3(6), 422-440.

  • Shi, H., Ding, J., Cao, Y., Liu, L., & Li, Y. (2022). Learning symbolic models for graph-structured physical mechanism. In The Eleventh International Conference on Learning Representations.

  • Chen, H., Ding, J., Li, Y., Wang, Y., & Zhang, X. P. (2024). Social physics informed diffusion model for crowd simulation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 38, No. 1, pp. 474-482).


高婷婷:数据驱动的可解释复杂系统推理

高婷婷,美国东北大学物理系博士后,由Albert-László Barabási教授指导;博士毕业于同济大学,导师为严钢教授。主要研究方向为数据驱动的复杂网络推断理论及应用,开发了用于从含噪和不完整数据中推断复杂网络ODE的Two-Phase推断框架,以及基于消息传递机制的、从随机动力学系统观测数据推断复杂系统SDE的LaGNA框架;相关成果发表于Nature Computational Science、Nature Communications、PRX等期刊。目前的研究兴趣主要为AI for Complex System和物理网络(Physical Network)的理论及应用。
主页 https://scholar.google.com/citations?user=-neTJpAAAAAJ&hl=en


分享内容简介

从数据中挖掘隐藏的动力学机制是现代科学发现的重要课题。图灵奖获得者、计算机学家 J. Gray 总结了科学发现的四阶段范式,即经验科学——归纳科学——计算科学——数据科学。近年来,随着实验手段和观测技术的提升,大量系统的活动数据得以观测。如生物体高通量数据获取技术的不断增强,如非侵入式和侵入式脑电图(EEG,ECoG),以及双光子钙成像以获取神经元层次的微观数据等,为挖掘各种系统底层机制提供了可能。在数据的先决条件影响下,我们迎来科学发现的第四范式,即数据驱动的资料密集型科学发现时代。在本次分享中,我将简要地对多个前沿数据驱动方法进行简单介绍,以帮助大家尽快构建相关内容的知识框架。


分享核心概念

数据驱动,Data-Driven

符号回归,Symbolic Regression

稀疏辨识,Sparse Identification

可解释性分析,Analysis of Interpretability


参考文献

  • Wang, H., Fu, T., Du, Y., Gao, W., Huang, K., Liu, Z., … & Zitnik, M. (2023). Scientific discovery in the age of artificial intelligence. Nature, 620(7972), 47-60.

  • Ding, J., Liu, C., Zheng, Y., Zhang, Y., Yu, Z., Li, R., … & Li, Y. (2024). Artificial Intelligence for Complex Network: Potential, Methodology and Application. arXiv preprint arXiv:2402.16887.

  • Gao, T. T., & Yan, G. (2023). Data-driven inference of complex system dynamics: A mini-review. Europhysics Letters, 142(1), 11001.


曹文祺:复杂网络的低秩假设

曹文祺,北京大学博雅博士后。博士毕业于上海交通大学控制科学与工程专业,曾访问意大利帕多瓦大学、日本玉川学院等。研究兴趣为大规模复杂网络的建模、重构与控制,发表论文十余篇,包括IEEE Transactions on Automatic Control,Automatica,SIAM Journal on Optimization and Control等长文。荣获国家资助博士后研究人员计划、北京大学博雅博士后项目资助。
https://www.researchgate.net/profile/Wenqi-Cao-2

分享内容简介

在现实世界中,大规模系统通常具有内部相关性,因此只由少数关键因素主导和决定。复杂网络模型能有效描述相关关系,适用于大规模问题的研究。然而,由于信息爆炸时代下,研究对象的超高维特性,以及复杂网络的结构多样性,针对大规模复杂网络开展降维理论、方法研究,已成为复杂网络理论在不同科学研究与技术应用中的重要需求。目前,大规模复杂网络的降维多沿用传统数据分析或机器学习特征提取的典型方法,欠缺对网络模型自身特性的充分分析与利用。2024年发表在Nature Physics上的论文,The low-rank hypothesis of complex systems,创新性地验证了低秩结构在复杂系统中的普遍存在,为构建大规模复杂网络的统一降维理论方法,提供了一种可行的思路。我将主要分享这篇文章的研究内容,并介绍在控制科学中,大规模低秩系统的研究现状。

分享核心概念

大规模网络系统,Large-scale Network System

复杂网络降维方法,Dimensionality Reduction Methods for Complex Networks

低秩系统理论,the Low-rank Hypothesis of Systems


参考文献

  • Thibeault, Vincent, Antoine Allard, and Patrick Desrosiers. “The low-rank hypothesis of complex systems.” Nature Physics 20.2 (2024): 294-302.


赵伯林:机器学习与复杂系统结构推断

赵伯林,复旦大学数学科学学院应用数学方向博士研究生,主要研究方向为复杂系统与机器学习的交叉领域,包括复杂动力系统的建模、预测、辨识、变点检测以及因果推断。
https://www.researchgate.net/profile/Bolin-Zhao-5


分享内容简介

在复杂系统自动建模中,一个关键问题是如何从数据出发去推断复杂系统的网络结构。近年来,研究人员提出了一系列机器学习方法用于复杂系统结构推断,其中包含了基于非线性Granger因果检验的方法,基于动力学稀疏辨识的方法,基于图神经网络与变分自编码器的方法,以及基于干预和反事实的因果推断方法等等。本次分享主要对这些基于机器学习的复杂系统结构推断方法进行简要的概述。

分享核心概念

复杂系统结构推断,Structural Inference of Complex Systems

格兰杰因果,Granger Causality

稀疏辨识,Sparse Identification

图神经网络,Graph Neural Networks(GNNs)

干预,Intervention


参考文献

  • Tank, A., Covert, I., Foti, N., Shojaie, A., & Fox, E. B. (2021). Neural granger causality. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(8), 4267-4279.

  • Casadiego, J., Nitzan, M., Hallerberg, S., & Timme, M. (2017). Model-free inference of direct network interactions from nonlinear collective dynamics. Nature communications, 8(1), 2192.

  • Kipf, T., Fetaya, E., Wang, K. C., Welling, M., & Zemel, R. (2018, July). Neural relational inference for interacting systems. In International conference on machine learning (pp. 2688-2697). PMLR.

  • Han, Z., Fink, O., & Kammer, D. S. (2024). Collective relational inference for learning heterogeneous interactions. Nature Communications, 15(1), 3191.

  • Sui, Y., Wang, X., Wu, J., Lin, M., He, X., & Chua, T. S. (2022, August). Causal attention for interpretable and generalizable graph classification. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp. 1696-1705).


牟牧云:数据驱动、干预与多尺度下的复杂系统自动建模

牟牧云,北京师范大学系统科学学院博士生,张江老师因果涌现研究小组成员。研究方向:复杂系统建模与调控、强化学习世界模型。


分享内容简介

复杂系统广泛存在于自然界和人类社会中,对复杂系统进行建模和调控是一个重要且具有实际价值的问题。复杂系统的建模包括对其时间上动力学以及空间上组成元素之间交互关系的建模。从数据中学习复杂系统中元素间的交互关系与网络结构,能够更加高效模拟复杂系统的动态演化,为复杂系统的调控和优化提供支持。本次分享将从数据驱动,干预以及多尺度视角对复杂系统自动建模进行简要概述。


分享核心概念

数据驱动建模,Data-driven Modeling

强化学习,Reinforcement Learning

因果图,Causal Graph

干预,Intervention


参考文献

  • D’Souza, R. M., di Bernardo, M., & Liu, Y. Y. (2023). Controlling complex networks with complex nodes. Nature Reviews Physics, 5(4), 250-262.

  • Baggio, G., Bassett, D. S., & Pasqualetti, F. (2021). Data-driven control of complex networks. Nature communications, 12(1), 1429.

  • Böttcher, L., Antulov-Fantulin, N., & Asikis, T. (2022). AI Pontryagin or how artificial neural networks learn to control dynamical systems. Nature communications, 13(1), 333.

  • Tigas, P., Annadani, Y., Jesson, A., Schölkopf, B., Gal, Y., & Bauer, S. (2022). Interventions, where and how? experimental design for causal models at scale. Advances in neural information processing systems, 35, 24130-24143.

  • Medrano, J., Friston, K., & Zeidman, P. (2024). Linking fast and slow: The case for generative models. Network Neuroscience, 8(1), 24-43.





报名方式




直播信息
时间:2024年9月5日(本周四) 19:10-22:00
报名参与读书会:
斑图链接:https://pattern.swarma.org/study_group_issue/746?from=wechat

扫码参与「复杂系统自动建模」读书会第二季,加入群聊,获取系列读书会回看权限,加入复杂系统自动建模社区,与社区的一线科研工作者沟通交流,共同探索复杂系统自动建模这一前沿领域的发展。


复杂系统自动建模读书会


“复杂世界,简单规则”。


集智俱乐部联合复旦大学智能复杂体系实验室青年研究员朱群喜、浙江大学百人计划研究员李樵风、清华大学电子工程系数据科学与智能实验室博士后研究员丁璟韬、美国东北大学物理系Albert-László Barabási指导的博士后高婷婷、北京大学博雅博士后曹文祺、复旦大学数学科学学院应用数学方向博士研究生赵伯林、北京师范大学系统科学学院博士研究生牟牧云,共同发起「复杂系统自动建模」读书会第二季


读书会将于9月7日每周六晚上20:00-22:00进行,探讨四个核心模块:数据驱动的复杂系统建模、复杂网络结构推断、具有可解释性的复杂系统推断(动力学+网络结构)、应用-超材料设计和城市系统,通过重点讨论75篇经典、前沿的重要文献,从黑盒(数据驱动)到白盒(可解释性),逐步捕捉系统的“本质”规律,帮助大家更好的认识、理解、预测、控制、设计复杂系统,为相关领域的研究和应用提供洞见。欢迎感兴趣的朋友报名参与!


详情请见:

复杂系统自动建模读书会:从数据驱动到可解释性,探索系统内在规律|内附75篇领域必读文献



点击“阅读原文”,报名读书会