Nat. Commun. 速递：通过深度强化学习寻找自旋玻璃基态

关键词：深度强化学习，自旋玻璃，伊辛模型，统计物理

论文题目：Searching for spin glass ground states through deep reinforcement learning

论文来源：Nature Communications

论文链接：https://www.nature.com/articles/s41467-023-36363-w

伊辛自旋玻璃是一个经典的无序系统，已经被研究了几十年，吸引了物理学、数学、计算机科学和生物学多个科学分支的极大兴趣。找到自旋玻璃的基态是解开自旋玻璃（以及许多其他无序系统）奇怪而复杂行为背后奥秘的关键。其次，在三维或更高维度上寻找伊辛自旋玻璃的基态是一个非确定性多项式（NP-hard）问题，它与许多其他组合优化问题密切相关，找到伊辛自旋玻璃基态可能有助于我们解决许多其他的 NP-hard 问题。

著名的 Hopfield 模型和其他开创性的神经网络模型与一般网络上的伊辛磁体（尤其是自旋玻璃）得出了深刻的联系。特别是最近，强化学习已被证明是解决许多组合优化问题的一个有前途的工具，如最小顶点覆盖问题、最小独立集问题、网络拆除问题、旅行推销员问题、车辆路由问题等。与传统方法相比，基于强化学习的算法被认为在准确性和效率之间取得了更有利的权衡。

近期发表于 Nature Communications 的一项研究提出了一个深度强化学习框架：DIRAC ，该框架可以纯粹地训练小规模的自旋玻璃实例，然后应用于任意大小的实例。DIRAC 显示出比其他方法更好的可扩展性，并且可以用来增强任何热退火方法。在2D，3D和4D Edwards-Anderson 自旋玻璃实例上的大量计算证明了 DIRAC 的优越性能。

这篇文章提出的框架将帮助我们更好地理解低温自旋玻璃相的本质，这是统计物理学中的一个基本挑战。此外，DIRAC 中采用的测量变换技术在物理和人工智能之间建立了深刻的联系。特别是，这为强化学习模型在巨大的配置空间中探索提供了一个有前途的途径。