导语


模拟 Ising 机是一种非冯·诺伊曼计算概念，基于 Ising 模型原理，有望突破基于冯·诺伊曼计算平台的许多限制。近日发表于 Nature Communications 的最新研究利用噪声注入的模拟 Ising 机实验证明，它可用于波尔兹曼分布的精确采样和神经网络的无监督训练，与基于软件的训练具有相同的准确性。研究通过模拟发现，Ising 机执行统计采样的速度比基于软件的方法快几个数量级。这使得可以将 Ising 机应用到超越组合优化的场景，使它们成为机器学习和其他应用的高效工具。


研究领域：机器学习，Ising 模型，计算理论

梁金 | 作者

邓一雪 | 编辑


 

论文题目：

Noise-injected analog Ising machines enable ultrafast statistical sampling and machine learning

论文地址：
https://www.nature.com/articles/s41467-022-33441-3





1. 突破冯·诺伊曼概念限制的模拟Ising机




Ising 机是一种很有前景的非冯·诺伊曼计算概念，其工作原理基于这样一种认识——各种复杂的计算问题可以映射到一个简单的自旋系统，即所谓的 Ising 模型，并通过基于模拟物理系统的人工自旋网络实现。模拟 Ising 机自然倾向于演化到其最低能量构型，通过这个过程就能够找到问题的解，并突破基于冯·诺伊曼计算平台的许多限制，加速神经网络训练和组合优化问题的计算。

然而，尽管各种神经网络可以用模拟 Ising 机实现，但它们不能执行快速统计采样，这使得它们在训练神经网络方面比数字计算机效率低。这是因为训练这些神经网络需要玻尔兹曼采样，这是对热平衡态下神经元激活概率的估计。由于模拟 Ising 机在非常低的温度下自然实现自旋系统，它们不能在任意温度下达到热平衡，因此不能进行玻尔兹曼采样。

为了使用模拟 Ising 机实现高效的统计采样，并利用其固有速度加速机器学习，本文提出了一种使用模拟 Ising 机执行统计采样的通用方法，其中来自模拟噪声源的噪声被注入，驱动 Ising 机进入热平衡态。类似于热力学温度，噪声作为随机元素，阻止自旋系统收敛到稳定状态。研究表明，噪声允许在任意温度下连续生成统计上独立的玻尔兹曼分布采样。

图：（a）模拟 Ising 机通过注入噪声，实现超快速的统计采样；（b）自旋振幅和 Ising 能量的演化；（c）实验设置。





2. 模拟Ising机

用于玻尔兹曼采样和神经网络训练




研究中使用时间多路复用光电 Ising 机，这个系统由一个产生自旋态的光电模拟非线性系统，和一个进行自旋耦合的 FPGA 组成。如图2b所示，将噪声诱导采样与使用马尔可夫链蒙特卡罗（MCMC）采样的基于软件的采样进行比较，发现用 Ising 机得到的分布与基于软件的采样非常一致，从而证明，模拟 Ising 机可用于波尔兹曼分布的精确采样，与基于软件的训练具有相同的准确性。

图2.  模拟 Ising 机得到的分布与基于软件的采样非常一致，可用于波尔兹曼分布的精确采样。


研究通过实验演示了图像识别任务中神经网络的无监督训练，如图3c所示。通过使用 Ising 机进行手写数字识别任务，研究发现，基于 Ising 机的训练精度与基于 MCMC 的采样训练相当。这表明使用模拟 Ising 机的噪声诱导采样可以成功用于训练受限玻尔兹曼机（RBM）。值得注意的是，与数字计算机上基于 MCMC 的采样相比，实验设置略微实现了性能改进，使得基于软件的采样可以被模拟 Ising 机取代。

图3.  对于图像识别任务中神经网络的无监督训练，模拟 Ising 机的噪声诱导采样与基于 MCMC 的采样训练相当。





3. 机器学习的高效工具




噪声诱导采样所提供的采样速度改进可以在许多应用中产生显著优势。由于在训练玻尔兹曼机过程中，玻尔兹曼采样是计算成本最高的任务，研究希望模拟 Ising  机采样速度的提升能够显著减少训练时间，从而让模拟 Ising 机成为机器学习的高效工具。

与基于软件的近似训练方法相比，完全玻尔兹曼采样能保证收敛到正确的分布。除了受限玻尔兹曼机，噪声诱导采样还可以有效地训练更一般的神经网络。由于玻尔兹曼采样在其他各种应用中无处不在，模拟 Ising 机也有巨大潜力可以应用于其他领域，如金融或药物研发。因此，噪声诱导采样扩展了模拟 Ising 机作为机器学习加速器的可用性，使得可以将 Ising 机应用到超越组合优化的场景。


复杂科学最新论文


集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：




推荐阅读



点击“阅读原文”，追踪复杂科学顶刊论文