导语


物理仿真(physical simulation),即对高维微分方程系统进行高效数值求解,是许多自然科学与工程的研究应用场景的核心问题。它广泛应用于各种领域,例如在飞行器设计中的气流场模拟,核聚变堆设计中等离子体模拟,药物与材料研发中的分子动力学模拟。


近年来,人工智能(AI)工具的出现,为物理仿真模拟领域带来了前所未有的可能。在这个背景下,两种研究思路引人注目,可称之为“AI + physical simulation” 的 “气宗” 和 “剑宗”——前者是 “代理模型(surrogate model)”, 用数值驱动+参数化 的方法,将高维复杂的动力学系统规律,压缩进参数化的模型,从而进行快速地推理。后者则是利用前沿的AI方法, 改造传统的数值求解方法,如差分法、有限元,在效率与精度上获得大幅提升。


本次分享我们有幸请到加州理工的李宗宜同学,和斯坦福大学的赵青青同学,为我们从神经算子和图神经网络两个方面,介绍前沿物理仿真工作。


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣,共同发起以“AI+Science”为主题的读书会,从2023年3月26日开始,每周日早上 9:00-11:00 线上举行,持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。





分享简介




第一部分,宗宜将主要为我们介绍神经算子(Neural Operator)的相关工作。不同于代理模型的早期工作仅在特定的有限维度解空间的拟合函数,Operator Learning 旨在于无限维的泛函空间中,最大化利用神经网络的拟合能力,学习算子本身的参数化表达。从而极大增加了代理模型的适用性与可复用性。

第二部分,青青同学将为我们介绍基于图神经网络(Graph Neural Network)进行物理仿真的系列工作。图神经网络作为处理图结构化数据的前沿工具,与传统数值模拟的网格法(mesh based simulation)天然契合。通过两者在多种应用场景(复杂/没有规则网格的模拟/动态图)的有机结合,我们可以在许多问题上得到从精度到效率的大幅度提升。




分享大纲




宗宜:
  • 偏微分方程的简单介绍
  • 神经算子学习的概念
  • 前沿工作:Fourier neural operator (FNO)
  • 应用前景:天气预测,碳存储模拟,空气动力学设计

青青:
  • 使用图神经网络进行物理仿真的优势以及应用场景
  • MeshGraphNets:使用图神经网络进行基于网格的仿真
  • GraphCast:使用图神经网络进行中距离全球天气预报,实现超越传统方法的准确度 
  • 开放问题






核心概念




  • 代理模型(surrogate model)

  • 算子学习(operator learning)

  • 图神经网络(Graph Neural Network)

  • 基于学习的网格法物理仿真(Learned mesh-based simulation)





主讲人介绍




李宗宜是加州理工学院计算与数学科学系的在读博士生。他的研究兴趣是机器学习和应用数学,他一直致力于开发偏微分方程的深度学习方法。他此前毕业于圣路易斯华盛顿大学(Washington University in St. Louis),主修计算机科学和数学。
个人主页:https://zongyi-li.github.io/

赵青青是一位电子工程系的三年级博士生,就读于斯坦福大学。此前,她在香港大学获得了物理系的本科学位。她的研究兴趣主要集中在将人工智能与科学领域相结合,在AI+Science的交叉领域进行探索,包括用机器学习模型对动态系统进行建模,以解决逆问题。
个人主页:https://cyanzhao42.github.io/




直播信息




直播时间:

2023年5月28日(周日)  10:00-12:00


参与方式:
扫码参与读书会,加入群聊获取本系列读书会的视频回放权限、资料权限,与社区的一线科研工作者和企业实践者沟通交流。




涉及到的参考文献



Li, Zongyi, Nikola Kovachki, Kamyar Azizzadenesheli, Burigede Liu, Kaushik Bhattacharya, Andrew Stuart, and Anima Anandkumar. “Fourier Neural Operator for Parametric Partial Differential Equations.” arXiv, May 16, 2021.
https://arxiv.org/abs/2010.08895)
Pathak, Jaideep, Shashank Subramanian, Peter Harrington, Sanjeev Raja, Ashesh Chattopadhyay, Morteza Mardani, Thorsten Kurth, et al. “FourCastNet: A Global Data-Driven High-Resolution Weather Model Using Adaptive Fourier Neural Operators.” arXiv, February 22, 2022.
https://arxiv.org/pdf/2202.11214.pdf
Li, Zongyi, Daniel Zhengyu Huang, Burigede Liu, and Anima Anandkumar. “Fourier Neural Operator with Learned Deformations for PDEs on General Geometries.” arXiv, July 11, 2022.
https://arxiv.org/pdf/2207.05209.pdf
Pfaff, Tobias, Meire Fortunato, Alvaro Sanchez-Gonzalez, and Peter W. Battaglia. “Learning Mesh-Based Simulation with Graph Networks.” arXiv, June 18, 2021. https://arxiv.org/abs/2010.03409
Lam, Remi, Alvaro Sanchez-Gonzalez, Matthew Willson, Peter Wirnsberger, Meire Fortunato, Alexander Pritzel, Suman Ravuri, et al. “GraphCast: Learning Skillful Medium-Range Global Weather Forecasting.” arXiv, December 24, 2022.
https://arxiv.org/abs/2212.12794




推荐相关学习资源



李宗宜个人主页上专门写的对于神经算子的介绍:https://zongyi-li.github.io/neural-operator/

北京师范大学系统科学学院教授,集智俱乐部、集智学园的创始人张江老师,为大家带来了全新的《第三代人工智能技术基础一从可微分编程到因果推理》这门课程中专门介绍了图神经网络最核心的基础概念,帮助大家入门:

链接地址:https://campus.swarma.org/course/5091?from=wechat


AI+Science 读书会启动


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science,机器学习和其他 AI 技术可以用来解决科学研究中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,甚至像科学家一样进行科学发现,被称为科学发现的“第五范式”。另一方面是 Science for AI,科学尤其是物理学中的规律和思想启发机器学习理论,为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖(Jure Leskovec 教授指导)、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣(Max Tegmark 教授指导),共同发起以“AI+Science”为主题的读书会,探讨该领域的重要问题,共学共研相关文献。读书会从2023年3月26日开始,每周日早上 10:00-12:00 线上举行,持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。


详情请见:
人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动


图神经网络与组合优化读书会


现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计,而随着人工智能技术不断发展,算法自动学习算法的案例日益增多,如以神经网络为代表的的人工智能算法,这是算法神经化求解的缘由。在算法神经化求解方向上,图神经网络是一个强有力的工具,能够充分利用图结构的特性,实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

为了探讨图神经网络在算法神经化求解的发展与现实应用,集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳,共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域,包括神经算法推理、组合优化问题求解、几何图神经网络,以及算法神经化求解在 AI for Science 中的应用等方面,希望为参与者提供一个学术交流平台,激发参与者的学术兴趣,进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始,每周三晚 19:00-21:00 举行,持续时间预计8周。欢迎感兴趣的朋友报名参与!

详情请见:
加速经典算法效率,突破现实技术瓶颈:图神经网络与组合优化读书会启动
报名链接:https://pattern.swarma.org/study_group/25?from=wechat


点击“阅读原文”,报名读书会