导语


与社交网络中的拓扑图不同，由分子、蛋白质、晶体等物质以及宏观物理世界中不同形状物体构成的几何图具有特定的空间几何结构，需要满足一些内蕴的物理性质（如对称性），导致传统的图神经网络难以处理。等变图神经网络有效地嵌入了对称性，具有良好的解释性、泛化性和通用性，在分子系统表示上得到了广泛应用。本期读书会，中国人民大学高瓴人工智能学院助理教授黄文炳将介绍不变图神经网络、等变图神经网络，以及几何图神经网络在科学中广泛的应用场景。


为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！






分享内容简介




科学领域中的分子、蛋白质、抗体、晶体等物质以及宏观物理世界中不同形状的物体，均具有特定的空间几何结构，构成了一类重要的数据形态——几何图。与社交网络中的拓扑图不同，几何图中的节点占据了一定的空间位置，需要满足某些内蕴的物理性质，比如对称性，导致传统的图神经网络难以处理几何图。

近年来，等变图神经网络由于有效嵌入了对称性，具有良好的解释性、泛化性和通用性，在分子系统表示上得到了广泛应用。本报告将梳理等变图神经网络的发展概况，并且介绍课题组近期在分子动力学模拟、分子结构表示学习、小分子生成、抗体设计与优化、多物体交互等重要科学任务上的应用情况。




分享内容大纲




背景介绍

几何图神经网络

微观分子空间的应用例子

宏观具身空间的应用例子

总结




主要涉及到的前置知识




  • 图神经网络 (Graph Neural Network)
  • 对称性（Symmetry）
  • 群表示论（Group Representation Theory）
  • 抗体设计 (Antibody Design)
  • 物理动力学模拟 (Physical Dynamics Simulation)

  • 强化学习 (Reinforcement Learning)





主讲人介绍




黄文炳，中国人民大学高瓴人工智能学院助理教授、博导。曾在清华大学智能产业研究院担任助理研究员，腾讯AI Lab担任高级研究员。研究方向包括几何机器学习理论方法，及其在智能药物发现、物理场景理解与模拟、智能体感知与决策等跨领域任务上的应用。代表性工作包括：训练深度图神经网络的方法DropEdge；面向大规模图的图神经网络高效训练方法AS-GCN；针对抗体生成的多通道等变注意力网络MEAN。在人工智能领域顶级会议或期刊（NeurIPS、ICLR、TPAMI等）发表论文40余篇，谷歌学术引用6000多次，单篇引用最高900多次。曾获ICLR 2023 杰出论文提名奖，腾讯犀牛鸟专项研究卓越奖、NeurIPS 2022 Open Catalyst 比赛冠军、IROS 2020 OCRTOC 机器人挑战赛季军、NeurIPS Outstanding Reviewer等奖项。




主要涉及到的参考文献




不变图神经网络：将数据映射到某个不变特征，使得原始数据无论做任何变换，不变特征均不受影响。

1.K. T. Schütt, H. E. Sauceda, P.-J. Kindermans, A. Tkatchenko, and K.-R. Müller. SchNet – A deep learning architecture for molecules and materials. J.Chem.Phys 2018.

简称Schnet，早期的不变图神经网络。

Github代码：https://github.com/atomistic-machine-learning/SchNet

2.Johannes Gasteiger, Janek Groß, Stephan Günnemann. Directional Message Passing for Molecular Graphs. ICLR 2020.

简称DimNet，在GNN引入了带方向的消息传播。

OpenReview: https://openreview.net/forum?id=B1eWbxStPH

Github代码：https://github.com/gasteigerjo/dimenet

3.Johannes Gasteiger, Florian Becker, Stephan Günnemann. GemNet: Universal Directional Graph Neural Networks for Molecules. NeurIPS 2021.

简称GemNet，一种不变GNN，考虑了球面坐标，效果值得信赖。由DimNet的主要作者打造。

OpenReview: https://openreview.net/forum?id=HS_sOaxS9K-

Github代码: https://github.com/TUM-DAML/gemnet_tf


等变图神经网络：对模型输入做一定的变换之后，模型输出做同样的变换。

4.Nathaniel Thomas, Tess Smidt, Steven Kearnes, Lusann Yang, Li Li, Kai Kohlhoff, Patrick Riley. Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds. 2018.

这篇论文简称张量场网络TFN，是最早同时满足旋转、平移等变的GNN，在分子动力模拟上进行验证，领域必读文章。

GitHub代码：https://github.com/tensorfieldnetworks/tensorfieldnetworks

5.（重点解读）Victor Garcia Satorras, Emiel Hoogeboom, Max Welling. E(n) Equivariant Graph Neural Networks. ICML 2021.

瞩目的EGNN，目前被广泛使用的等变图神经网络模型，领域必读文章。

PaperTalk: https://papertalk.org/papertalks/32722

Github代码：https://github.com/vgsatorras/egnn

6.Johannes Brandstetter, Rob Hesselink, Elise van der Pol, Erik J Bekkers, Max Welling. Geometric and Physical Quantities Improve E(3) Equivariant Message Passing. ICLR 2022.

简称SEGNN，在EGNN基础上引入了higer-degree 不可约表示，基于这篇文章可以概括性学习E3不变表示相关知识。

OpenReview: https://openreview.net/pdf?id=_xwr8gOBeV1

Github代码：https://github.com/RobDHess/Steerable-E3-GNN


几何图神经网络在科学应用中有着广泛的场景，包括抗体设计，物理场景模拟，智能体控制等。


抗体设计

7.Wengong Jin, et al. Iterative Refinement Graph Neural Network for Antibody Sequence-Structure Co-design. ICLR, 2022.

论文十问：https://zhuanlan.zhihu.com/p/484584576

Github代码：https://github.com/wengong-jin/RefineGNN

8.（重点解读）Xiangzhe Kong, et al. Conditional Antibody Design as 3D Equivariant Graph Translation. ICLR, 2023.

简称MEAN，使用了等变图神经网络完成抗体CDR区域1D氨基酸序列和3D结构的同时生成和优化。

知乎论文解读：https://zhuanlan.zhihu.com/p/623640186

OpenReview: https://openreview.net/pdf?id=LFHFQbjxIiP

GitHub代码：https://github.com/THUNLP-MT/MEAN


物理场景模拟

9.Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Networks. 2020.

知乎论文解读：https://zhuanlan.zhihu.com/p/481545424

Github代码：https://github.com/deepmind/deepmind-research/tree/master/learning_to_simulate

10.（重点解读）Jiaqi Han et al. Learning Physical Dynamics with Subequivariant Graph Neural Networks. NeurIPS,2022.

OpenReview：https://openreview.net/forum?id=siG_S8mUWxf

Github代码：https://github.com/hanjq17/SGNN


智能体运动控制

11.Hong, S. et al. Structure-aware transformer policy for inhomogeneous multi-task reinforcement learning. ICML, 2021.

知乎论文解读：https://zhuanlan.zhihu.com/p/508907410

OpenReview: https://openreview.net/forum?id=fy_XRVHqly

Github代码：https://github.com/sunghoonhong

12.（重点解读）Runfa Chen, et al. Subequivariant Graph Reinforcement Learning in 3D Environments. ICML 2023

Github代码：https://github.com/alpc91/SGRL




直播信息




时间：
2023年6月21日（本周三）晚上20:00-22:00

参与方式：
扫码参与图神经网络与组合优化读书会，加入群聊，获取系列读书会回看权限，成为图神经网络社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动图神经网络社区的发展。


集智学园最新AI课程，

张江教授亲授：第三代人工智能技术基础

——从可微分编程到因果推理


自1956年“人工智能”诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。


本课程试图系统梳理从机器学习到大语言模型，从图神经网络到因果推理等一系列可能成为第三代人工智能基础的技术要素，为研究者或学生在生成式AI、大模型、AI for Science等相关领域的学习和研究工作奠定基础。


https://campus.swarma.org/course/5084?from=wechat


AI+Science 读书会


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。
集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以“AI+Science”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。读书会从2023年3月26日开始，每周日早上 9:00-11:00 线上举行，持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。
详情请见：
人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动


图神经网络与组合优化读书会启动


现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！

详情请见：
加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动


点击“阅读原文”，报名直播