导语


“物有本末，事有终始，知所先后，则近道矣。”
——《大学》

拓扑编织着复杂世界，机器学习孕育着技术奇点。一个维度，其中拓扑理论与深度学习模型交织共鸣；一个领域，它跨越了数学的严谨与本质以及人工智能的无限可能，开辟着通往科学新纪元的航道。让我们携手在几何深度学习的起点出发，一路探索如何走向AI for Science的无限未来。

集智俱乐部联合中国人民大学黄文炳副教授、上海交通大学王宇光副教授和南洋理工大学夏克林副教授发起「几何深度学习」读书会。从2024年7月11日开始，每周四19:00-21:00进行，持续时间预计 8-10 周，社区成员将一起系统性地学习几何深度学习相关知识、模型、算法，深入梳理相关文献、激发跨学科的学术火花、共同打造国内首个几何深度学习社区！欢迎加入社区与发起人老师一起探索！





读书会背景




随着深度学习在图像识别、自然语言处理等传统领域取得一系列突破性进展，研究人员开始将这一技术扩展到更广泛的数据类型，以应对多样化实际应用。几何深度学习由此应运而生。牛津大学教授Michael Bronstein、图灵奖得主Yann Lecun等人于2017年提出几何深度学习这一概念(Bronstein et al., 2017)，结合几何学（或拓扑学）与深度学习，以便处理具有复杂结构和拓扑特性的非欧几里得数据，如点云、网格、图谱、流形等。按照数据结构的不同，几何深度学习涵盖了集合学习、图学习、拓扑深度学习、群等变神经网络等内容。事实上，当前使用最广泛的深度学习模型Transformer在数学形式上是一种特殊的集合函数，蕴含了顺序不变性、全连接图等几何拓扑先验。

近年来，几何深度学习在多个领域，特别是科学智能（AI for Science）领域取得了显著进展。例如，美国Generate Biomedicines公司提出了一种新颖的等变图扩散模型Chroma，创造了自然界中以前未发现的具有可编程特性的新型蛋白质(Ingraham, Baranov et al., 2023)。谷歌DeepMind公司基于图神经网络构建了一种晶体材料稳定性预测模型GNoME，发现了多达220万种理论上稳定的新型材料(Merchant et al., 2023)。此外，2023年图灵奖得主Yoshua Bengio与数十位人工智能专家在顶级学术期刊《Nature》上发表综述论文，指出几何深度学习是科学智能研究的重要工具之一 (Wang et al., 2023)。可以说，几何深度学习是当前人工智能领域同时兼备理论和应用价值的、最有潜力的研究方向之一。




读书会框架




读书会包括“几何背景知识”、“模型与算法”与“科学应用”三大专题。其中，“几何背景知识”专题拟从集合、图的概念延伸到双曲空间、单纯复形、胞腔复形等拓扑概念，进而介绍拓扑深度学习的相关知识。“模型与算法”专题探讨对称性的重要性以及如何将其嵌入到深度学习模型中，介绍几何深度学习与现有主流研究包括大模型、生成模型之间的结合。“科学应用”专题将以材料科学和生物科学为代表，介绍几何深度学习在AI for Science领域的重要应用案例。





发起人




黄文炳：中国人民大学高瓴人工智能学院副教授。入选北京科技新星、腾讯犀牛鸟学者、微软铸星学者等称号。博士毕业于清华大学，曾担任清华大学智能产业研究院助理研究员、腾讯AI Lab高级研究员。在NeurIPS，ICML，ICLR等人工智能领域顶级会议或期刊发表论文60余篇，谷歌学术引用9000多次，单篇最高1000余次。主持国家自然基金项目2项。曾获ICLR 2023 杰出论文提名奖，NeurIPS 2022 Open Catalyst 比赛冠军，2020/2022年度腾讯犀牛鸟专项研究卓越奖，多篇论文入选美国PaperDigest最有影响力论文榜单。担任NeurIPS等会议领域主席，AAAI、IJCAI等会议高级程序委员。

研究方向：几何深度学习、AI for Science。

王宇光：上海交通大学自然科学研究院和数学科学学院，副教授。上海应用数学中心、上海人工智能实验室和新南威尔士大学担任兼职副教授，前马克斯·普朗克研究所的研究科学家。在新南威尔士大学取得数学博士。在图神经网络和大型模型等领域已发表60多篇顶刊顶会，包括Appl Comput Harmon Anal、SINUM、FoCM、JMLR、Cell Reports Medicine，以及ICML、NeurIPS、ICLR，其中三篇论文被选为AI顶会亮点文章。2024年，其团队发布了中国首个TourSynbio蛋白大模型。

研究方向：人工智能、计算数学、统计学和数据科学。目前正在研究几何深度学习、图神经网络、应用调和分析、贝叶斯推理、信息几何、数值分析以及在生物医学和蛋白质设计中的应用。

夏克林：南洋理工大学副教授。2013年1月获得中国科学院博士学位，于2009年12月至2012年12月在美国密歇根州立大学数学系作为访问学者。从2013年1月至2016年5月，在密歇根州立大学担任访问助理教授。2016年6月，加入南洋理工大学，并于2023年3月晋升为副教授。夏克林的研究专注于分子科学的数学人工智能，在《SIAM Review》、《Science Advances》、《npj Computational Materials》、《ACS nano》等期刊上发表了70多篇论文。

研究方向：分子科学的数学人工智能。





与读书会之间的联系




AI+Science 系列读书会

AI+Science系列读书会中，第一季读书会就AI4Science以及Science4AI进行了较为全面的前沿探讨，第二季读书会呈现了大模型在生物医学健康研究方面应用的全貌，第三季读书会从AI4Math，Math4AI两个方面深入探讨了人工智能与数学的密切联系。本次读书会聚焦几何深度学习这一科研领域的发展与突破，从拓扑知识、模型、算法到科学应用系统地介绍其发展，并探讨在材料科学和生物科学中的前沿应用。


图神经网络与组合优化读书会

在图机器学习中，数据通常以图的形式表示，其中节点和边分别代表数据点和它们之间的关系。在几何深度学习中，按照数据结构的不同，其涵盖了集合学习、图学习、拓扑深度学习、群等变神经网络等内容。图神经网络与组合优化读书会聚焦图神经网络与算法神经化求解的相关领域，并分享讨论了几何图神经网络在AI4Science领域的前沿应用。本次读书会则将从几何背景知识开始，更加系统地介绍几何深度学习的发展脉络以及主流模型，同时将更深入地探讨AI4Math、AI4Material以及AI4Biology的应用与前沿动态。


与复杂科学的关系

复杂系统通常由许多相互作用的组成部分组成，这些部分在空间和时间上的结构非常复杂，因此传统的方法往往难以完全捕捉和理解其内在的复杂性。如何理解复杂系统的内在关联是科学和工程领域中的关键挑战之一。

几何深度学习作为一种新兴的研究领域，专注于处理结构化数据，相较传统的深度学习方法，几何深度学习能够有效地处理具有复杂结构和拓扑特性的非欧几里得数据，如点云、网格、图谱、流形等。近年来，几何深度学习在多个领域，特别是科学智能（AI for Science）领域取得了显著进展，展现了其理解复杂系统与预测、生成复杂结构的巨大潜力。





报名参与读书会




本读书会适合参与的对象

  • 基于拓扑、人工智能、材料科学、生物科学等相关学科研究，对利用拓扑理论设计神经网络模型，基于几何深度学习模型与算法理解、预测、生成复杂结构，AI for Science(Math,Material,Biology…)等相关研究有浓厚兴趣的科研工作者；
  • 具有一定计算机科学、信息科学、物理学、数学、材料科学以及生物科学的学科背景，在领域内有一定的研究基础，想进一步进行交叉学科研究与交流的学者、研究生、本科生。
  • 对复杂科学充满激情，对世界，特别是对理解复杂世界内在结构与结构生成充满好奇的探索者，且具备一定的英文文献阅读能力的探索者。
  • 想锻炼自己科研能力或者有出国留学计划的高年级本科生及研究生。


本读书会谢绝参与的对象

为确保专业性和讨论的聚焦，本读书会谢绝脱离读书会主题和复杂科学问题本身的空泛的哲学和思辨式讨论；不提倡过度引申在社会、人文、管理、政治、经济等应用层面的讨论。我们将对参与人员进行筛选，如果出现讨论内容不符合要求、经提醒无效者，会被移除群聊并对未参与部分退费，解释权归集智俱乐部所有。


运行模式

本季读书会预计讨论分享8-10次，以主题分享的形式按照暂定框架贯次展开；

每周进行线上会议，与会者可以广泛参与讨论，会后可以获得视频回放持续学习。


举办时间

从2024年7月11日开始，每周四19:00-21:00，持续时间预计 8-10 周。我们也会对每次分享的内容进行录制，剪辑后发布在集智斑图网站上，供读书会成员回看，因此报名的成员可以根据自己的时间自由安排学习时间。


参与方式

此次读书会为线上闭门读书会，采用的会议软件是腾讯会议（请提前下载安装）。在扫码完成报名并添加负责人微信后，负责人会将您拉入交流社区（微信群），入群后告知具体的会议号码。


报名方式

第一步：扫码填写报名信息。

扫码报名

第二步：填写信息后，付费299元。

第三步：添加负责人微信，拉入对应主题的读书会社区（微信群）。

本读书会可开发票，请联系相关负责人沟通详情。


共学共研模式与退费机制

读书会采用共学共研的机制，围绕前沿主题进行内容梳理和沉淀。读书会成员可通过内容共创任务获得积分，解锁更多网站内容，积分达到标准后可退费。发起人和主讲人作为读书会成员，均遵循内容共创共享的退费机制，暂无其他金钱激励。读书会成员可以在读书会期间申请成为主讲人，分享或领读相关研究。


加入社区后可以获得的资源：

  • 在线会议室沉浸式讨论：与主讲人即时讨论交流
  • 交互式播放器高效回看：快速定位主讲人提到的术语、论文、大纲、讨论等重要时间点
  • 高质量的主题微信社群：硕博比例超过80%的成员微信社区，闭门夜谈和交流
  • 超多学习资源随手可得：从不同尺度记录主题下的路径、词条、前沿解读、算法、学者等
  • 参与社区内容共创任务：读书会笔记、百科词条、公众号文章、论文解读分享等不同难度共创任务，在学习中贡献，在付出中收获。
  • 共享追踪主题前沿进展：在群内和公众号分享最新进展，领域论文速递

参与共创任务，共建学术社区：

  • 论文翻译
  • 科普文章翻译
  • 讲座整理

PS：具体参与方式可以加入读书会后查看对应的共创任务列表，领取任务，与运营负责人沟通详情，上述规则的最终解释权归集智俱乐部所有。





阅读材料




阅读材料较丰富，为了更好的阅读体验，建议您前往集智斑图沉浸式阅读，并可收藏感兴趣的论文，下载推荐阅读的论文以及代码，查看更多相关学习资源。

读书会阅读清单




参考文献




0 读书会背景

推荐语：牛津大学教授Michael Bronstein、图灵奖得主Yann Lecun等人于2017年提出几何深度学习这一概念，结合几何学（或拓扑学）与深度学习，以便处理具有复杂结构和拓扑特性的非欧几里得数据，如点云、网格、图谱、流形等。

Bronstein, Michael M., et al. “Geometric deep learning: going beyond euclidean data.” IEEE Signal Processing Magazine 34.4 (2017): 18-42.

推荐语：美国Generate Biomedicines公司提出了一种新颖的等变图扩散模型Chroma，创造了自然界中以前未发现的具有可编程特性的新型蛋白质。

Ingraham, John B., et al. “Illuminating protein space with a programmable generative model.” Nature 623.7989 (2023): 1070-1078.

推荐语：谷歌DeepMind公司基于图神经网络构建了一种晶体材料稳定性预测模型GNoME，发现了多达220万种理论上稳定的新型材料。

Merchant, Amil, et al. “Scaling deep learning for materials discovery.” Nature 624.7990 (2023): 80-85.

推荐语：2023年图灵奖得主Yoshua Bengio与数十位人工智能专家在顶级学术期刊《Nature》上发表综述论文，指出几何深度学习是科学智能研究的重要工具之一。

Wang, Hanchen, et al. “Scientific discovery in the age of artificial intelligence.” Nature 620.7972 (2023): 47-60.

Yoshua Bengio领衔跨学科团队，Nature刊文综述人工智能时代的科学发现


1.1 双曲空间、单纯复型

推荐语：这篇文章因其创新性地将图卷积网络扩展到双曲几何（Hyperbolic GCNs)、深入的技术探讨、广泛的实验验证以及领域内知名作者的背书，成为了双曲几何图神经网络研究领域的基石性工作，对后续研究具有重要的指导和启发作用。

Chami, I., Ying, R., Ré, C., & Leskovec, J. (2019). “Hyperbolic Graph Convolutional Neural Networks.” NeurIPS (2019).

推荐语：这篇文章提出了一种新型的单纯复形消息传递网络（MPSNs），通过在单纯复形上执行消息传递来捕捉复杂系统的多级交互，并在理论和实验上证明了其相较于传统图神经网络具有更高的表达能力和区分复杂图结构的能力。

Bodnar, Cristian, et al. “Weisfeiler and lehman go topological: Message passing simplicial networks.” ICML (2021).


1.2 拓扑/几何深度学习

推荐语：拓扑深度学习（Topological Deep Learning, TDL）是关系学习领域的前沿方向，文章总结了目前主流的拓扑机器学习的框架和相关成果，并提出了一系列该领域的重要问题。

Papamarkou, Theodore, et al. “Position Paper: Challenges and Opportunities in Topological Deep Learning.” arXiv preprint arXiv:2402.08871 (2024).

推荐语：文章介绍了组合复形及相关理论，并且介绍了一些基于组合复形的拓扑深度学习模型。

Hajij, Mustafa, et al. “Topological deep learning: Going beyond graph data.” arXiv preprint arXiv:2206.00606 (2022).

推荐语：文章总结了基于组合复形的拓扑深度学习模型的框架细节。

Papillon, Mathilde, et al. “Architectures of topological deep learning: A survey on topological neural networks.” Arxiv. Submitted to Transactions on Pattern Analysis and Machine Intelligence (2023).

推荐语：文章描述了ICML 2023 工作坊“机器学习中的拓扑与几何”中举办的拓扑深度学习计算挑战赛的设计并总结了其主要发现。

Papillon, Mathilde, et al. “Icml 2023 topological deep learning challenge: Design and results.” Topological, Algebraic and Geometric Learning Workshops 2023. PMLR, 2023.


2.1 对称性嵌入的深度学习

推荐语：对称性是指物体在某种变换上保持不变的性质，既是数学形式简约性的必要因素、也是物理规律均匀性的必然结果。这篇文章是最早将旋转对称性加入到卷积神经网络的开创工作之一，从群等变的角度对传统卷积算子进行了简单而深刻的改造。

Cohen T, Welling M. Group equivariant convolutional networks[C]//International conference on machine learning. PMLR, 2016: 2990-2999.

推荐语：这篇文章基于物理规律必须满足 SE(3) 对称性的重要假设，从群表示论中引入球谐函数、Wigner-D矩阵、CG张量积等概念，嵌入到图神经网络中，提出了张量场网络TFN。这是最早将具有对称性的图神经网络引入到三维物理系统建模中的开创性工作。

Thomas N, Smidt T, Kearnes S, et al. Tensor field networks: Rotation-and translation-equivariant neural networks for 3d point clouds[J]. arXiv preprint arXiv:1802.08219, 2018.

推荐语：这篇文章摒弃了前一篇论文TFN中的高阶表示量，只利用向量之间的内积构建了具有对称性的图神经网络EGNN，极大提升了模型的效率，并且在许多实际任务中打败了传统数学形式更完备但计算更复杂的模型。

Satorras V G, Hoogeboom E, Welling M. E (n) equivariant graph neural networks[C]//International conference on machine learning. PMLR, 2021: 9323-9332.

推荐语：这是一篇综述性论文（两个版本），从数据结构、模型、任务等多个维度总结了几何图神经网络的发展历程和重要应用例子。

Han J, Cen J, Wu L, et al. A Survey of Geometric Graph Neural Networks: Data Structures, Models and Applications[J]. arXiv preprint arXiv:2403.00485, 2024.

Han J, Rong Y, Xu T, et al. Geometrically equivariant graph neural networks: A survey[J]. arXiv preprint arXiv:2202.07230, 2022.

AI4Science的基石：几何图神经网络，最全综述来了！

几何深度学习：让物理世界拥有AI | 黄文炳分享整理


2.2 几何深度学习与大模型

推荐语：这篇论文针对2D分子设计了具备亿级参数的图神经网络GROVER，在千万级无标签分子数据上进行了预训练，是分子图大模型的开创性工作之一。

Rong Y, Bian Y, Xu T, et al. Self-supervised graph transformer on large-scale molecular data[J]. Advances in neural information processing systems, 2020, 33: 12559-12571.

推荐语：这篇论文设计了能同时处理分子的图Transformer模型Graphormer，在OGB、Open Catalyst等著名榜单上取得了很好的实验结果。

Ying C, Cai T, Luo S, et al. Do transformers really perform badly for graph representation?[J]. Advances in neural information processing systems, 2021, 34: 28877-28888.

推荐语：这篇论文设计了能处理3D分子的预训练图神经网络Uni-Mol，在分子性质预测、蛋白质性质预测、蛋白质-小分子对接等下游任务上取得了良好效果。

Zhou G, Gao Z, Ding Q, et al. Uni-mol: A universal 3d molecular representation learning framework[J]. 2023.

推荐语：这篇论文提出了一种基于黎曼去噪的3D分子图神经网络的预训练方法3D-EMGP，在分子物理性质预测、分子动力学等与3D构象相关的任务上取得了很好效果。

Jiao R, Han J, Huang W, et al. Energy-motivated equivariant pretraining for 3d molecular graphs[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2023, 37(7): 8096-8104.


2.3 几何深度学习与扩散模型

推荐语：这篇论文将生成式模型VAE与图神经网络了进行结合，并且提出了一种主子图的概念，实现了分子图的有效生成。

Kong X, Huang W, Tan Z, et al. Molecule generation by principal subgraph mining and assembling[J]. Advances in Neural Information Processing Systems, 2022, 35: 2550-2563.

推荐语：这篇论文将生成式模型Diffusion与等变图神经网络进行结合，实现了3D分子构象的多样性生成。

Xu M, Yu L, Song Y, et al. Geodiff: A geometric diffusion model for molecular conformation generation[C]//International Conference on Learning Representations(ICLR), 2022.

推荐语：这篇论文将生成式模型BFN与等变图神经网络进行进行结合，实现了3D分子的高效生成。

Song Y, Gong J, Zhou H, et al. Unified Generative Modeling of 3D Molecules with Bayesian Flow Networks[C]//The Twelfth International Conference on Learning Representations. 2023.


3.1 材料科学中的应用

推荐语：这篇论文利用等变图神经网络CDVAE实现了晶体生成，是该方向的开创性工作之一。

Xie T, Fu X, Ganea O E, et al. Crystal diffusion variational autoencoder for periodic material generation[J]. arXiv preprint arXiv:2110.06197, 2021.

推荐语：这篇论文将扩散模型与等变图神经网络进行结合，很好建模了晶体的对称性，实现了晶体3D结构的精准生成。

Jiao R, Huang W, Lin P, et al. Crystal structure prediction by joint equivariant diffusion[J]. Advances in Neural Information Processing Systems, 2024, 36.

推荐语：这篇论文基于图神经网络构建了一种晶体材料稳定性预测模型GNoME，发现了多达220万种理论上稳定的新型材料。

Merchant A, Batzner S, Schoenholz S S, et al. Scaling deep learning for materials discovery[J]. Nature, 2023, 624(7990): 80-85.


3.2 生命科学中的应用

推荐语：这篇论文提出了一种多通道等变图神经网络MEAN，有效实现了抗体CDR区域的设计与优化。

Kong X, Huang W, Liu Y. Conditional antibody design as 3d equivariant graph translation[J]. ICLR, 2023.

推荐语：这篇论文提出了一种新颖的等变图扩散模型Chroma，创造了自然界中以前未发现的具有可编程特性的新型蛋白质。

Ingraham J B, Baranov M, Costello Z, et al. Illuminating protein space with a programmable generative model[J]. Nature, 2023, 623(7989): 1070-1078.

推荐语：这篇论文提出了一种全原子建模方法RoseTTAFold All-Atom，利用等变图神经网络实现了蛋白质、小分子、核酸、共价修饰等多种分子的结构预测与设计。

Krishna R, Wang J, Ahern W, et al. Generalized biomolecular modeling and design with RoseTTAFold All-Atom[J]. Science, 2024, 384(6693): eadl2528.





关于集智俱乐部读书会和主办方




集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，了解前沿进展，激发科研灵感，促进科研合作，降低科研门槛。

读书会活动始于 2008 年，至今已经有 50 余个主题，内容涵盖复杂系统、人工智能、脑与意识、生命科学、因果科学、高阶网络等。凝聚了众多优秀科研工作者，促进了科研合作发表论文，孵化了许多科研产品。如：2013 年的“深度学习”读书会孕育了彩云天气 APP，2015 年的“集体注意力流”读书会产生了众包书籍《走近2050》，2020年的开始因果科学读书会孕育了全国最大的因果科学社区等。

主办方：集智俱乐部
协办方：集智学园

集智俱乐部成立于 2003 年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 “没有围墙的研究所”。

集智学园成立于2016年，是集智俱乐部孕育的创业团队。集智学园致力于传播复杂性科学、人工智能等前沿知识和新兴技术，促进、推动复杂科学领域的知识探索与生态构建。




推荐读书会




几何深度学习读书会


图神经网络与组合优化


详情请见：
加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动


AI+Science系列

第一季：


详情请见：
人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动


第二季：


详情请见：

大模型与生物医学：AI + Science第二季读书会启动


第三季：






详情请见：

人工智能与数学读书会启动：AI for Math，Math for AI



点击“阅读原文”，报名读书会