Nat. Mach. Intell. 速递:软硬件协同实现高效的图机器学习
关键词:图神经网络,图机器学习,摩尔定律,软硬件协同
论文题目:Echo state graph neural networks with analogue random resistive memory arrays 论文来源:Nature Machine Intelligence 论文链接:https://www.nature.com/articles/s42256-023-00609-5
近年来,人们对图结构数据的学习表示兴趣激增,从社交网络到药物发现都有应用。然而,用于处理图结构数据的机器学习模型图神经网络,在传统的数字硬件上运行时面临着巨大的挑战,包括由于晶体管缩放限制导致的摩尔定律减速,以及物理上分离的内存和处理单元所产生的冯·诺依曼瓶颈,还有高昂的训练成本。
最新发表于 Nature Machine Intelligence 的这篇文章,提出了一个硬件-软件协同设计系统来解决这些挑战。作者设计了一个基于随机电阻存储器阵列的回声状态图神经网络(echo state graph neural network, ESGNN),该阵列由低成本、纳米级和可堆叠的电阻构建,用于高效的内存计算。这种方法利用了电阻开关中电介质击穿的内在随机性,在硬件中实现了回声状态网络的随机投影,由于其固定和随机的权重,有效减少了训练的复杂性。
该系统在 MUTAG 和 COLLA B 图分类数据集和 CORA 节点分类数据集上,都展示了最先进的性能,与传统的图学习相比,基于投影随机电阻存储器的混合模拟-数字系统的能效分别提高了 2.16 倍、35.42 倍和 40.37 倍,反向传播复杂度分别降低了 99.35%、99.99% 和 91.40%。这些结果为下一代人工智能系统的图机器学习指出了一个有前途的方向。
复杂科学最新论文
推荐阅读
-
2022年,图机器学习Graph ML发展到哪了? -
扛鼎之作!Twitter 图机器学习大牛发表160页论文:以几何学视角统一深度学习 -
Sci. Adv. 综述:机器学习方法在社会和健康科学中的应用 -
《张江·复杂科学前沿27讲》完整上线! -
成为集智VIP,解锁全站课程/读书会 -
加入集智,一起复杂!