关键词:图神经网络,图机器学习,摩尔定律,软硬件协同




论文题目:Echo state graph neural networks with analogue random resistive memory arrays
论文来源:Nature Machine Intelligence
论文链接:https://www.nature.com/articles/s42256-023-00609-5


近年来,人们对图结构数据的学习表示兴趣激增,从社交网络到药物发现都有应用。然而,用于处理图结构数据的机器学习模型图神经网络,在传统的数字硬件上运行时面临着巨大的挑战,包括由于晶体管缩放限制导致的摩尔定律减速,以及物理上分离的内存和处理单元所产生的冯·诺依曼瓶颈,还有高昂的训练成本。


最新发表于 Nature Machine Intelligence 的这篇文章,提出了一个硬件-软件协同设计系统来解决这些挑战。作者设计了一个基于随机电阻存储器阵列的回声状态图神经网络(echo state graph neural network, ESGNN),该阵列由低成本、纳米级和可堆叠的电阻构建,用于高效的内存计算。这种方法利用了电阻开关中电介质击穿的内在随机性,在硬件中实现了回声状态网络的随机投影,由于其固定和随机的权重,有效减少了训练的复杂性。


该系统在 MUTAG 和 COLLA B 图分类数据集和 CORA 节点分类数据集上,都展示了最先进的性能,与传统的图学习相比,基于投影随机电阻存储器的混合模拟-数字系统的能效分别提高了 2.16 倍、35.42 倍和 40.37 倍,反向传播复杂度分别降低了 99.35%、99.99% 和 91.40%。这些结果为下一代人工智能系统的图机器学习指出了一个有前途的方向。


图1. 用于图学习的基于随机电阻存储器阵列的回声状态图神经网络的硬件-软件协同设计。


图2. 协作网络的分类。

图3. 引文网络的节点分类。


复杂科学最新论文


集智斑图顶刊论文速递栏目上线以来,持续收录来自Nature、Science等顶刊的最新论文,追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能,每周通过微信服务号「我的集智」推送论文信息。扫描下方二维码即可一键订阅:




推荐阅读



点击“阅读原文”,追踪复杂科学顶刊论文