AI for Scientific Design是一个较新的研究领域,是指将人工智能技术,例如机器学习和优化算法,应用于实验设计和科学研究过程中。AI提供了许多新兴的方法,如反向传播和扩散模型,用于科学设计中的宏观系统参数的推测和优化。同时,图表示学习和几何表示学习也被广泛应用于微观系统的设计和优化。本次分享来自斯坦福大学计算机科学系博士后研究员吴泰霖和斯坦福大学计算机科学系博士徐民凯共同探讨生成模型、图表示学习算法和扩散模型在自然科学中的应用,以及它们如何推动科学设计的发展。
AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖(Jure Leskovec 教授指导)、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣(Max Tegmark 教授指导),共同发起以“AI+Science”为主题的读书会,从2023年3月26日开始,每周日早上 9:00-11:00 线上举行,持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。
• 支撑AIGC的扩散模型,以及图神经网络,如何用于实现分子的设计?
• 对于复杂的宏观系统,如何设计和优化其系统参数(比如设计机翼形状、优化偏微分方程边界条件)?
• 如果一个动力系统只观测到少部分,如何精确推测系统其他部分?
本次分享来自斯坦福大学计算机科学系博士后研究员吴泰霖和斯坦福大学计算机科学系博士徐民凯将会综述性的介绍「AI for Scientific Design」这个前沿方向中与系统设计相关的部分,主要介绍如何通过“代理模型+反向传播”的方法设计宏观系统或者推测宏观系统参数(比如优化飞机形状、偏微分方程的参数、推测生物系统中动力学方程的参数等)以及如何通过扩散模型等应用于分子设计。
• 科学设计简述
• 基于代理模型+反向传播的科学设计
• 反向传播方法用于宏观系统的反向设计(边条件、系统参数等)
• 基于扩散模型的科学设计
吴泰霖是斯坦福大学计算机科学系的博士后研究员,由Jure Leskovec教授指导。他从麻省理工物理学博士毕业,其毕业论文主题为AI for Physics and Physics for AI,本科毕业于北京大学。他的研究兴趣为AI+Science,包括开发机器学习方法用于大规模科学和工程模拟,开发神经符号方法用于科学发现,以及由科学问题启发的表示学习(运用图神经网络、信息理论和物理等方法)。他的工作发表在NeurIPS、ICLR、UAI等顶级机器学习会议以及物理学顶级期刊上,并被MIT Technology Review报道。他是美国国家科学院院刊(PNAS)、Nature Communications、Nature Machine Intelligence、Science Advances等综合期刊的审稿人。
徐民凯是斯坦福大学计算机科学系博士生。此前分别于蒙特利尔学习算法研究院和上海交通大学获得硕士与学士学位。他的研究兴趣主要为通过概率模型进行复杂数据的学习与推断,如深度生成模型和无监督学习。他同时致力于推动相关的前沿机器学习算法解决具有广泛社会影响力的现实挑战,如自然科学(计算化学与生物学等)中的基本问题。他的工作发表在ICML、NeurIPS、ICLR、AAAI等顶级机器学习及人工智能会议上。他曾在Meta、Amazon和ByteDance等人工智能研究实验室工作,并获得红杉资本-斯坦福奖学金。
个人网页:https://minkaixu.com/
1.Allen, Kelsey R., et al. “Physical design using differentiable learned simulators.” arXiv preprint arXiv:2202.00728 (2022), NeurIPS 2022
推荐语:基于图神经网络的学习正演模拟器和基于梯度的设计优化,解决了具有复杂物理动力学的高维问题,包括流体流动的表面设计和工具设计,以及翼型形状的优化。
2.Xu M, Yu L, Song Y, et al. Geodiff: A geometric diffusion model for molecular conformation generation[J]. arXiv preprint arXiv:2203.02923, 2022.
推荐语:作者提出了新的生成模型GEODIFF,根据分子图来预测分子构象
3.Zhao Q, Lindell D B, Wetzstein G. Learning to solve pde-constrained inverse problems with graph networks[J]. arXiv preprint arXiv:2206.00711, 2022.
推荐语:利用生成神经网络和图神经网络对PDE流动模态建模,解决了空间稀疏数据点无法使用传统力学方法求解的问题
直播时间:
2023年4月9日(周日) 上午 10:00-12:00
扫码参与读书会,加入群聊获取本系列读书会的视频回放权限、资料权限,与社区的一线科研工作者和企业实践者沟通交流。
推荐课程
推荐斯坦福大学最新的课程CS224W,由斯坦福大牛Jure Leskovec主讲,他是计算机学院副教授,也是图表示学习方法node2vec和GraphSAGE的作者之一。第17讲“几何图学习”,由本期主讲人之一的徐民凯博士讲授。
课程网站:http://web.stanford.edu/class/cs224w/
复杂系统是对生物、社会、金融、气候等不同领域内大量现象进行建模的重要手段。复杂系统自动建模是指以数据驱动,设计算法找到个体间相互作用及动力学法则,从而对整个复杂系统进行建模。
从 2020 年 3 月开始,历经 3 个多月的时间,共同研读了 26 篇经典论文,涵盖了数据驱动的网络重构体系,介绍了超越数据驱动的因果推断方法,并且介绍了这些方法在金融、经济、生物、地球等系统中的应用。
推荐相关阅读材料:
图网络入门路径:从网络科学视角出发,上手深度学习前沿技术
图网络深度解析:为什么说图网络是 AI 的未来?
图网络究竟在研究什么?从15篇研究综述看图神经网络GNN的最新研究进展
图神经网络前沿综述:动态图网络
AI生成艺术的底层原理:非平衡物理的扩散模型
长文综述:图神经网络的可解释性
图网络未来几何?12位学者寄望2021大爆发
AI for Scientific Design是一个较新的研究领域,目前仍在积极探索和发展中。以下是一些在该领域取得重要成就的工作:
Adaptive experiments Machine learning can help scientific discovery
(图片来源:Adaptive experiments Machine learning can help scientific discovery)
这是Columbia大学的研究人员在材料科学领域的一项工作,利用强化学习算法和高通量实验技术设计新材料的实验流程,并实现了较高的成功率。
Bayesian Optimization for Materials Science
(图片来源:Bayesian Optimization for Materials Design with Mixed Quantitative and Qualitative Variables)
这是哈佛大学的研究人员使用贝叶斯优化算法在材料科学中进行实验设计的一项工作,该工作提供了一种快速高效的方法,以更快地发现新材料的性质和组成。
Automated Chemical Design Using a Data-Driven Continuous Representation of Molecules
(图片来源:Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules)
这是斯坦福大学的研究人员使用深度学习算法进行化学设计的一项工作,他们提出了一种分子连续表示法,使得机器学习算法能够生成新分子的结构和属性,该工作为化学设计提供了新思路和方法。
这些工作都在AI for Scientific Design领域中取得了重要的进展,为推动科学研究提供了新的思路和方法。这些创新性的方法为材料科学领域的研究和发展带来了新的思路和方法,有望在未来的科研实践中得到广泛应用。
AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science,机器学习和其他 AI 技术可以用来解决科学研究中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,甚至像科学家一样进行科学发现,被称为科学发现的“第五范式”。另一方面是 Science for AI,科学尤其是物理学中的规律和思想启发机器学习理论,为人工智能的发展提供全新的视角和方法。
集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖(Jure Leskovec 教授指导)、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣(Max Tegmark 教授指导),共同发起以“AI+Science”为主题的读书会,探讨该领域的重要问题,共学共研相关文献。读书会从2023年3月26日开始,每周日早上 10:00-12:00 线上举行,持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。
点击“阅读原文”,报名读书会