导语


图神经网络 (GNN) ——各种神经网络中的一匹黑马。它应用广泛，涉及各个领域，包括推荐系统、谷歌地图交通预测、药物发现、蛋白质发现等。


为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会，聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与。

关键词：图神经网络，推荐系统，交通预测，药物发现，蛋白质发现

ShuYini | 作者

AINLPer | 来源

 



引言




虽然在过去的几个月里，「ChatGPT以及扩散模型 (Diffusion Models) 等生成式AI一直是人们关注的焦点，但也请不要忽略图神经网络 (GNN) 的迅速发展」。经过近几年的发展，图神经网络的研究从纯粹的学术研究一直突破到大规模实际应用，「悄然成为了各种神经网络中的一匹黑马」。

阿里巴巴、谷歌、优步、Twitter等许多大型公司已经在他们的一些核心产品中应用GNN相关技术，其主要原因是：与之前最先进的人工智能架构相比，基于GNN的方法表现出了更为强大的性能。尽管各个核心产品面临的问题类型多种多样并且底层数据集也有一定的差异，但是他们都使用了GNN统一框架作为核心。这也就表明了：「GNN可以提供一个通用且灵活的框架，用于描述和分析任何可能的实体集及其相互关系」。

那么图神经网络 (GNN) 的实际优势到底是什么呢?为什么图神经网络 (GNN) 在2023年很重要?那么本文将针对这两个问题展开讨论，除此之外，本文还会分享一些GNN网络的实际应用。

 



GNN介绍




首先图数据在世界上无处不在：任何由实体和实体之间的关系组成的系统都可以表示为图。在过去十年中，深度学习算法在自然语言处理、计算机视觉和语音识别等领域取得了突出进展，其主要原因是它们能够通过非线性层从数据中提取高级特征。然而「大多数深度学习框架都是针对欧几里得结构的数据进行设计定制」（例如：表格数据、图像、文本和音频等），忽略了图结构数据。

具体来说，传统的人工智能方法主要是从由某种“固定”结构编码的对象中提取信息。例如，图像通常被编码为固定大小的2维像素网格 (如下图所示)，而文本则被编码为1维单词序列 (或“标记”)。而采用图结构来表示数据可以从实体以及实体关系表示中提取更有价值的信息。

然而，「图结构的高度灵活性允许大量可能性来表示同一块数据，在设计能够在该数据上学习并跨不同领域进行概括时，会增加模型架构的复杂性」。在过去二十年中，针对能够大规模处理图数据的 AI 系统提出了多种方法，但这些进步通常与开发它们的特定案例和设置有关。

在某些方面，这反映了十年前深度学习革命期间发生的事情，当时语音识别系统曾经由隐马尔可夫模型、高斯混合模型和严重依赖于传统信号处理的计算机视觉系统组合组成，现在逐渐融合到端到端深度学习系统，这些系统甚至经常使用相同的基本架构：Transformer架构 (Attention机制)(起源于自然语言处理领域) 。

近年来，一个由高级深度学习研究人员组成的社区，在将不同领域的各种数据问题转化为图问题方面取得了一定的成果。「其中图神经网络及其一些变体一直在在各种深度学习任务中的表现都要优于主流方法」。GNN实际上已经成为解决许多完全不同且看似无关领域的现实问题的重要工具，例如药物发现、推荐系统、交通预测等等。那么目前GNN在更广泛的 AI 研究领域中的作用是什么？让我们来看看一些数字，这些数字揭示了GNN相关研究领域中取得的惊人进步。


 



AI研究中GNN




一个不可忽略的影响就是，GNN已经快速找到了自己的定位，即可以学习任何图结构的通用范式并且对其的任何改进都可以泛化到各种领域。世界各地的学术和行业研究人员对这一主题的关注在过去几年中经历了爆炸式增长，这并不奇怪。「如果我们查看过去3年ICLR 和 NeurIPS 这两个国际顶会的接收的文章，不难发现GNN相关的文章增强特别明显」。除此之外，我们发现术语图神经网络「一直在Top3关键字中」。

最近的一项文献计量学研究系统地分析了这一研究趋势，揭示了已发表相关GNN的研究呈指数级增长，在 2017-2019 年期间平均每年增长 447%。AI现状报告2021 进一步确认图神经网络是 AI 研究出版物中的关键词，“从 2019 年到 2020 年使用量增幅最大”。

我们还可以通过查看「图神经网络在不同应用领域的影响来检验图神经网络的多功能性」。下图旨在说明 GNN 论文在 22 个类别中的分布，可以发现在计算机科学中占比最大，但也涉及各个应用领域。


 



GNN应用案例




上面可以发现GNN应用广泛，涉及各个领域。那么接下来给大家看看将GNN应用于生产中的大型模型的一些例子和结果。

推荐系统


Uber Eats 的团队开发了一款送餐应用程序（类似国内的大众点评），最近开始将图形学习技术引入推荐系统，「为该应用程序提供支持，旨在展示最有可能吸引用户的食物」。鉴于在此类设置中处理的图表规模很大（Uber Eats 是全球 500 多个城市超过 320,000 家餐厅的门户），图表神经网络是一个非常有吸引力的选择。

在对推荐菜肴和餐厅的模型进行首次测试时，该团队报告说，与 Mean Reciprocal Rank、Precision@K 和 NDCG 等关键指标的现有生产模型相比，性能提升了 20% 以上。在将 GNN 模型集成到 Uber Eats 推荐系统（其中包含其他非基于图形的功能）后，开发人员观察到与现有的生产化基线模型相比，AUC 从 78% 跃升至 87%，并且随后进行了影响分析 揭示了基于GNN的特征是迄今为止整个推荐模型中最有影响力的特征。

谷歌地图交通预测


图神经网络的另一个极具影响力的应用来自 DeepMind 的一组研究人员，他们展示了如何「将 GNN 应用于交通地图以提高估计到达时间 (ETA) 的准确性」。这个想法是使用 GNN 来学习交通网络的表征，以捕捉网络的底层结构及其动态。

谷歌地图已经在全球多个主要城市积极大规模部署该系统，新方法大幅降低了用户在查询 ETA 时出现负面结果的比例（与之前的方法相比，准确率提高了 50%）。

MIT药物发现


最近 AI 方法在制药领域最著名的应用之一来自麻省理工学院的一项研究项目，该项目后来发表在著名的科学杂志《细胞》上。

「目标是使用 AI 模型通过学习分子的图形表示来预测分子的抗生素活性，从而捕获其潜在的抗生素活性」。在这种情况下，选择用图来编码信息是很自然的，因为抗生素可以表示为小分子图，其中节点是原子，边对应于它们的化学键。

人工智能模型从这些数据中学习，在某些理想的条件下预测最有希望的分子，随后这些预测在实验室中得到测试和验证，这种方式帮助生物学家从数十亿个可能的候选分子中优先考虑要分析的分子。

这导致了一种以前未知的化合物Halicin的鉴定，它被发现是一种高效的抗生素，对抗生素耐药细菌也有效，这一结果被现场专家视为抗生素发现研究的重大突破。这一消息在媒体上引起了轰动，BBC和《金融时报》等媒体都发表了专题文章，但几乎所有人都忽略了一个事实，那就是该化合物是基于GNN人工智能模型而发现的。另一方面，研究人员报告了如何使用定向消息传递深度神经网络方法 (GNN的核心特征) 对这一发现也至关重要：事实上，与基于图的AI模型相反，其他最先进的模型也针对Halicin进行了测试，未能输出较高的预测排名。

蛋白质发现


「蛋白质设计的目标是创造具有所需特性的蛋白质」，并且可以通过（通常是高成本的）实验方法来完成，这些方法允许研究人员通过直接操纵蛋白质的氨基酸序列来设计新蛋白质。新蛋白质的设计具有巨大的潜在应用，例如开发新药物、酶或材料。

Baker 实验室最近结合了图形神经网络和扩散技术，创建了一个名为 RosettaFoldDiffusion (RFDiffusion) 的 AI 系统，事实证明它能够设计满足自定义约束的蛋白质结构。AI 模型通过E(n)-Equivariant图神经网络运行，这是一种特殊的 GNN，专门用于处理具有刚性运动对称性（例如空间中的平移、旋转和反射）的数据结构，并被微调为denoiser，即扩散模型 (diffusion model)。

RFDiffusion于2022年11月发布，是一个高度复杂的系统，能够解决蛋白质设计中的大量特定任务。针对各种指标和基准进行了测试。实验结果显示，与最先进的模型相比，RFDiffusion 解决了100%以上的基准问题 (25个中的23个)，比之前最先进的深度神经网络模型在设计蛋白质结构图案的支架方面多解决了23个基准问题，并在设计蛋白质粘合剂方面实现了18%的成功率。此外，RFDiffusion的实验成功率根据目标蛋白的不同，从5倍到214倍不等。

该领域的一些专家认为，RFDiffusion可能是“这十年来结构生物学的最大进步之一，与AlphaFold一起”，这一进步主要依赖于图神经网络的最新进展。


 



总结




图神经网络是一个快速发展的领域，有许多令人兴奋的发展，人工智能研究社区在过去几年中大幅增加了对这一领域的关注。在工业领域，图机器学习在不同领域的应用直到最近才开始出现，GNN作为Game Changger已经在一些大规模部署生产模型中确立了自己地位。最近的应用案例为一系列新的应用带来了机会，让我们看看今年该领域又会给我们带来哪些惊喜吧。



图神经网络与组合优化读书会


现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会，聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！

详情请见：
加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动


推荐阅读

1. 研究速递：图神经网络预测复杂网络中的传播现象
2. Barabási 最新研究：利用图神经网络加速网络布局
3. Nat. Mach. Intell. 速递：图神经网络实现三维流体运动中的粒子跟踪
4. 《张江·复杂科学前沿27讲》完整上线！
5. 成为集智VIP，解锁全站课程／读书会
6. 加入集智，一起复杂！



点击“阅读原文”，报名读书会