几何深度学习已能够有效挖掘和学习图结构数据、建模真实世界。然而，大多数研究都集中在静态图上，忽略了现实世界网络的动态性质，如化学中分子间的反应过程、行走的人群、人际关系的演化等，此类拓扑和属性随着时间的推移而演变，这些动态信息是AI理解复杂系统运行底层机制的关键。我们如何建模动态系统乃至更复杂的物理系统，理解真实世界？
「几何深度学习」读书会第六期将由阿里巴巴达摩院资深算法工程师荣钰，针对复杂物理系统和长时间动态模拟系统，介绍其团队基于几何图学习对这两类系统的建模最新工作以及相关应用，并且对未来AI for Science相关领域进行展望。读书会将于8月22日（本周四）进行，欢迎感兴趣的朋友参与讨论交流！
基于几何图学习的物理系统建模——从动态模拟到复杂系统建模
在当前基础科学研究中，绝大多数任务本质上都可以归结为对不同物理系统的描述和建模。例如对蛋白质的结构预测让我们可以了解蛋白质的功能，通过对分子动态的模拟让我们可以更好的了解化学反应的机理，对于系统结合能的预测可以让我们筛选更好的催化剂。随着近年来深度学习模型，特别是图神经网络模型的发展，越来越多的模型开始应用于对不同种类的物理系统，从亚原子到大分子的建模，并且取得令人瞩目成果。本次讲座中，我将针对复杂物理系统和长时间动态模拟系统，介绍我们基于几何图学习对这两类系统的建模最新工作以及相关应用。并且对未来AI for Science相关领域进行展望。
Geometric Graph Learning for Modeling Physical Systems: From Dynamic Systems to Complex Systems
In current fundamental scientific research, the vast majority of tasks can essentially be reduced to describing and modeling different physical systems. For instance, predicting the structure of proteins allows us to understand their functions, simulating molecular dynamics enables us to better comprehend the mechanisms of chemical reactions, and predicting the binding energies of systems can help us screen for better catalysts. Recent advancements in deep learning, especially through the adoption of graph neural networks, have led to the application of a growing number of models across a spectrum of physical system from subatomic to macromolecular scales— achieving remarkable progress. In this presentation, I will introduce our latest work and relevant applications in modeling complex physical systems and long-time dynamic simulation systems based on geometric graph learning. Additionally, I will provide an outlook on the future of AI for Science-related fields.
-
背景知识 – 物理系统建模的重要性
-
基础概念回顾
-
针对动态系统的建模：
-
ESTAG：Equivariant Spatio-Temporal Attentive Graph Networks
-
SEGNO: Second-order Equivariant Graph Neural Ordinary Differential Equation
-
DEGNN: Discrete Equivariant Graph Neural Network
-
针对的复杂系统的建模：
-
HGIN: Geometric Graph Learning for Protein Mutation Effect Prediction
-
未来展望
-
更多物理知识的嵌入
-
图神经网络 Graph Neural Networks
等变离散傅里叶变换 Equivariant Discrete Fourier Transform
神经常微分方程 Neural Ordinary Differential Equations
蛋白突变效应预测 Protein Mutation Effect Prediction
物理动态学习 Physical Dynamics Learning
荣钰博士，IEEE Senior Member，阿里巴巴达摩院基础智能中心资深技术专家，负责AI for Science方向。荣钰博士在2016年于香港中文大学获得系统工程与工程管理博士学位及进行博士后研究。2017年6月加入腾讯AI Lab，任职专家研究员，负责腾讯云深智药平台分子属性预测模块建设, 同时作为组织者参与第二届Open Catalyst Challenge,获得第一名。2024年6月加入达摩院，负责AI for Science方向研究。主要研究方向为图深度学习，大规模图系统，AI for Science等。谷歌学术引用8000余次，单篇最高引用1400余次。H-index 38。两篇文章入选PaperDigest 最具影响力论文。入选斯坦福大学世界Top 2%科学家。
达摩院AI for Science实验室校招进行时！大量校招职位开放，方向涉及基础模型开发，应用开发，模拟计算，训练加速等职位。让我们一起打开有意思的未来！
https://talent-holding.alibaba.com/campus/position-list?campusType=freshman&lang=zh&search=AI%20for%20Science
推荐语：本文通过将二阶物理先验知识引入等变图模型的构造，成功实现了对长时间物理过程的模拟。
Liu, Y., Cheng, J., Zhao, H., Xu, T., Zhao, P., Tsung, F., … & Rong, Y. SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases. In The Twelfth International Conference on Learning Representations.
推荐语：本文提出了基于离散等变群的等变图神经网络，通过放松严格等变假设，使得模型可以更好的建模实际物理场景，例如交通动态预测，人群动态预测等。
Zheng, Z., Liu, Y., Li, J., Yao, J., & Rong, Y. (2024). Relaxing Continuous Constraints of Equivariant Graph Neural Networks for Physical Dynamics Learning. arXiv preprint arXiv:2406.16295.
推荐语：本文通过引入历史轨迹来对时空数据中非马尔可夫交互建模，同时设计基于等变的傅里叶变换模块去学习历史轨迹中存在的周期规律来实现对多尺度动态建模的准确预测。
Wu, L., Hou, Z., Yuan, J., Rong, Y., & Huang, W. (2024). Equivariant spatio-temporal attentive graph networks to simulate physical dynamics. Advances in Neural Information Processing Systems, 36.
推荐语：本文通过引入层次化等变图网络实现了对蛋白质突变效应的准确预测。
Zhao, K., Rong, Y., Jiang, B., Tang, J., Zhang, H., Yu, J. X., & Zhao, P. (2023, October). Geometric Graph Learning for Protein Mutation Effect Prediction. In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management (pp. 3412-3422).
推荐语：本文从数据，模型，应用的角度系统梳理了当前几何图神经网络的相关进展
Han, J., Cen, J., Wu, L., Li, Z., Kong, X., Jiao, R., … & Huang, W. (2024). A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications. arXiv preprint arXiv:2403.00485.
时间：2024年8月22日（本周四）19:00-21:00
https://pattern.swarma.org/study_group_issue/737?from=wechat
扫码参与几何深度学习读书会，加入群聊，获取系列读书会回看权限，加入图神经网络与几何深度学习社区，与社区的一线科研工作者沟通交流，共同推动几何深度学习这一前沿领域的发展。
拓扑编织着复杂世界，机器学习孕育着技术奇点。一个维度，其中拓扑理论与深度学习模型交织共鸣；一个领域，它跨越了数学的严谨与本质以及人工智能的无限可能，开辟着通往科学新纪元的航道。让我们携手在几何深度学习的起点出发，一路探索如何走向AI for Science的无限未来。
集智俱乐部联合中国人民大学黄文炳副教授、上海交通大学王宇光副教授和南洋理工大学夏克林副教授发起「几何深度学习」读书会。从2024年7月11日开始，每周四19:00-21:00进行，持续时间预计 8-10 周，社区成员将一起系统性地学习几何深度学习相关知识、模型、算法，深入梳理相关文献、激发跨学科的学术火花、共同打造国内首个几何深度学习社区！欢迎加入社区与发起人老师一起探索！
现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。
为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面。读书会已完结，现在报名可加入社群并解锁回放视频权限。
