导语


深度学习方法仿佛是各类问题的“杀手锏”。然而,深度学习模型的训练需要依托大数据的支持,模型也一般不具备可解释性与强泛化性。如何从数据中自动识别一个潜在的数学表达式,精准描述系统运行机理,从而易于研究者后续对系统本质规律进行进一步分析以及预测系统未来发展?符号回归在过去两年中算法效果更优、应用范围更广,并与机器学习方法进行结合形成混合模型,兼具可解释性和强大特征提取能力,进展显著。

「复杂系统自动建模」读书会第二季七期将由马里兰大学应用数学系博士生宋泽正,分享符号回归方法在科学计算中的应用以及符号回归的最新发展。读书会将于2024年10月24日 周四 20:00-22:00(北京时间)进行,欢迎感兴趣的朋友参与讨论交流!




分享内容简介




机器学习显著改变了计算科学与工程领域,尤其在高维计算任务的高效求解方面取得了显著成效,并且促进了计算科学领域的发展。这催生了一个新兴的领域——科学机器学习。

本次分享首先将介绍符号回归方法在科学计算中的应用,包括偏微分方程(PDE)的求解和物理定律的发现等。我们将重点讨论符号回归在处理高维系统时,如何能够把握系统的内在结构,同时提供良好的可解释性。通过这一优势,符号回归在许多情况下能够超越传统神经网络所达到的精度。在科学计算中,这种可解释性和对系统结构的把握显得尤为重要。

随后,将介绍符号回归的最新发展,包含基于强化学习、Transformer架构,以及多模态的符号回归方法及其应用。这些方法在提高模型的表达能力与泛化性上展现出巨大潜力,尤其是在复杂科学问题的求解中。




分享内容大纲



 

  • 符号回归在科学计算中的应用

  • 符号回归的最新进展





主要涉及到的知识概念




  • 符号回归, Symbolic Regression

  • Transformer

  • 强化学习, Reinforcement Learning (RL)

  • 偏微分方程数值解, Numerical Solution of Partial Differential Equations

  • 多模态模型, Multimodal Model




讲者介绍




宋泽正,马里兰大学应用数学系博士生,导师为杨海钊教授。博士期间的研究方向涵盖三大领域:1. 科学机器学习,专注于动力系统建模、高维偏微分方程(PDE)的求解以及符号回归的神经网络方法;2. 科学领域的人工智能(AI for Science),包括化学物理中的稀有事件研究以及流体动力学中的时空动态预测;3. 深度学习算法,致力于偏微分方程基础模型的构建,并应用于流体动力学与化学物理领域。相关研究成果已发表在SIAM Journal on Scientific Computing等期刊和会议上。担任NeurIPS、ICLR、AISTATS、SIAM Journal on Scientific Computing及Journal of Chemical Physics等会议和期刊的审稿人。




参考文献



 

Song, Zezheng, Maria K. Cameron, and Haizhao Yang. “A finite expression method for solving high-dimensional committor problems.” SIAM Journal on Scientific Computing (2024).
Liang, Senwei, and Haizhao Yang. “Finite expression method for solving high-dimensional partial differential equations.” arXiv preprint arXiv:2206.10121 (2022).
Jiang, Zhongyi, Chunmei Wang, and Haizhao Yang. “Finite expression methods for discovering physical laws from data.” arXiv preprint arXiv:2305.08342 (2023).
Kamienny, Pierre-Alexandre, et al. “End-to-end symbolic regression with transformers.” Advances in Neural Information Processing Systems 35 (2022): 10269-10281.
Meidani, Kazem, et al. “Snip: Bridging mathematical symbolic and numeric realms with unified pre-training.” The Twelfth International Conference on Learning Representations (ICLR 2024).

Sun, Fangzheng, et al. “Symbolic physics learner: Discovering governing equations via monte carlo tree search.” The Eleventh International Conference on Learning Representations (ICLR 2023).





参与方式




直播信息
时间:2024年10月24日 周四 20:00-22:00(北京时间)
报名参与读书会:
斑图链接:https://pattern.swarma.org/study_group_issue/795?from=wechat

扫码参与「复杂系统自动建模」读书会第二季,加入群聊,获取系列读书会回看权限,加入复杂系统自动建模/AI4Science社区,与社区的一线科研工作者沟通交流,共同推动复杂系统自动建模这一前沿领域的发展。


复杂系统自动建模读书会第二季


“复杂世界,简单规则”。


集智俱乐部联合复旦大学智能复杂体系实验室青年研究员朱群喜、浙江大学百人计划研究员李樵风、清华大学电子工程系数据科学与智能实验室博士后研究员丁璟韬、美国东北大学物理系Albert-László Barabási指导的博士后高婷婷、北京大学博雅博士后曹文祺、复旦大学数学科学学院应用数学方向博士研究生赵伯林、北京师范大学系统科学学院博士研究生牟牧云,共同发起「复杂系统自动建模」读书会第二季


读书会将于9月5日起每周四晚上20:00-22:00进行,探讨四个核心模块:数据驱动的复杂系统建模、复杂网络结构推断、具有可解释性的复杂系统推断(动力学+网络结构)、应用-超材料设计和城市系统,通过重点讨论75篇经典、前沿的重要文献,从黑盒(数据驱动)到白盒(可解释性),逐步捕捉系统的“本质”规律,帮助大家更好的认识、理解、预测、控制、设计复杂系统,为相关领域的研究和应用提供洞见。欢迎感兴趣的朋友报名参与!



详情请见:

复杂系统自动建模读书会:从数据驱动到可解释性,探索系统内在规律|内附75篇领域必读文献



点击“阅读原文”,报名读书会