PRL速递：重整化理论描述神经网络动力学

摘要

临界性与最佳计算能力有着深刻的联系。然而，到目前为止，由于缺乏大脑临界动力学的重整化理论，对这种形式的生物信息处理的理解仅限于平均场结果。这些方法忽略了临界系统的一个关键特征：跨越所有长度尺度的自由度之间存在相互作用，这是复杂非线性计算所需要的。我们提出了一种神经场理论的重整化理论，即随机 Wilson-Cowan 模型。我们计算了耦合流，它在不断增加的长度尺度上参数化相互作用。尽管与 Kardar-Parisi-Zhang 模型有相似之处，但该理论属于 Gell-Mann-Low 类型，是可重整化量子场论的典型形式。在这里，非线性耦合消失，流向高斯固定点，但呈对数慢化，因此在大多数尺度上仍然有效。我们展示了这种临界的相互作用结构，以实现信息存储的最佳线性和计算所需的非线性之间的理想权衡。

研究领域：神经网络动力学，重整化，量子场论

潘佳栋 | 作者

梁金 | 审校

邓一雪 | 编辑

论文题目：

Gell-Mann–Low Criticality in Neural Networks

论文链接：

https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.128.168301

1. 临界的大脑

临界点和信息处理有很深的关系。例如，对最难解决的组合优化问题的统计描述，就处于相变的临界点[1,2]。大脑活动也显示出临界性，这似乎可以优化网络的计算属性。为了有效地处理信息，大脑被认为是在两相之间的临界点上运行。在临界点上，神经元网络足够稳定，能够可靠地存储信息，但又足够敏感，能够迅速向大脑的其他遥远部位发送信号。现在，使用量子场论中的方法，德国尤利希研究中心的 Moritz Helias 和他的同事证实，这些临界点在大脑动力学的经典模型中确实存在。

该团队考虑了 Wilson-Cowan 模型，在该模型中，神经元集合被外部刺激或与邻居的相互作用激发。在以前对这个模型的研究中，研究人员使用简化的平均场近似，但是它不能解释在大脑中观察到的全部复杂现象。事实上，研究人员发现 Wilson-Cowan 模型确实可以存在临界点。在二维空间，即对应于皮质网络的平面组织中，平均场理论失效。

图1. (a) 模型原理图。(b) 方差。蓝色菱形为模拟情况；深蓝色虚线为线性系统；灰色实线为重整化理论给出。(c) 耦合流。过渡线（黑色虚线）将收敛区（绿色）和发散区（红色）分开。非物理稳态的区域为深红色。(d) 记忆。对于不同强度非线性高斯输入的重建精度（0：完全遗忘；1：完美重建）随时间的变化。(e) 分类。正确分配给3位字符串的奇偶性（蓝色曲线）和重复训练的标准偏差（阴影区域）。读出时最慢（红色）、中间（橙色）和最快（绿色）模式的衰减时间尺度。

2. 超越平均场，

重整化理论描述神经网络动力学

Moritz Helias 和他的团队通过应用一种叫做重整化的技术超越了这种近似，这种技术在量子场论中通常用于处理奇点（singularity）——具有无穷值的量。该团队的模型还涉及神经元之间相互作用强度的区别。但研究人员发现，在重整化之后，近处和远处的神经元都能有效地相互沟通，同时仍然保留了存储记忆的能力。这种在小距离和大距离尺度上的协调是临界性的一个标志。

研究人员发现并证明了 Gell-Mann-Low 类型的临界性。这种临界性对大脑计算极为关键。信息处理可能受益于线性行为与非线性行为之间的平衡，前者支持信息存储和传递，后者则是计算所必需的。Gell-Mann-Low 临界性通过使临界点位于平均场和强耦合固定点之间，实现了这种平衡。

他们首先关注的是记忆。为了具象化，考虑费舍尔记忆曲线。在线性情况下，它随时间衰减为t^-2，这是最优的[3]。直观地说，非线性行为引起的信号失真使得检索过去输入的信息更加困难（当然，一些网络结构可能被微调为与非线性的最佳相互作用，从而增加记忆，例如通过主动噪声抑制[4]，但这在模型中没有发生）。在 Gell-Mann-Low 情况中，非线性流变为零，而不是变成一个强耦合的固定点。

然而，与平均场情况相反，非线性相互作用只以对数速度消失。因此，它们实际上在所有长度尺度上都是有效的，允许系统的自由度相互作用并共同进行计算。他们通过训练两个线性函数来正确分类3位字符串的奇偶性，从而说明非线性相互作用的性质[5]。

研究人员提供了一个神经网络动力学的重整化理论，以揭示跨尺度的非线性相互作用的结构，这是迄今为止平均场方法所不能做到的。这个框架为超越平均场的普适性[6,7]打开了大门，这些普适性类可能隐藏在临界大脑活动背后。他们认为，超越平均场的行为是计算的基础，并提供工具来定量处理处于临界点的非线性信号转换。应用随机 Wilson-Cowan 模型，他们发现了一种新的临界点形式，它对生物学上合理的外部驱动是鲁棒的。在二维情况下，临界行为是Gell-Mann-Low类型的；与平均场行为相反，非线性耦合，即计算的根本，在这里仍然与所有长度尺度相关。然而，它们缓慢消失的流并不改变平均场临界指数的阶。这可能解释了为什么以前的工作可能忽略了超出平均场的行为。

3. 展望

探讨在更复杂的模型中是否会出现这种或其他类型的临界，将是很有趣的。例如，在具有多个皮质层的模型中，涌现行为可能会影响沿皮质表面的临界性。除了这里考虑的突触强度外，层次网络的结构也是一个参数，它可以将系统调整到临界状态，并有趣地将其扩展到参数空间的广泛区域[8]。一般来说，这里提出的方法适用于任何随机动力学系统；特别是神经网络模型，其中一些模型甚至被表述为场论。

重整化技术也正被应用于人工神经网络[9,10]。在储层计算的背景下，他们认为Gell-Mann-Low临界性支持线性和非线性动力学之间的计算上的最佳平衡。他们的分析也可以扩展到具有可训练的隐藏权重的递归网络，这些网络适合于场论的表述[11-13]，进一步研究临界性和计算之间的关系。总的来说，这里的神经场理论、非平衡统计物理学的核心Kardar-Parisi-Zhang模型和量子场论之间的联系，为从这些领域转移专业知识提供了方法，这些方法在上述领域被广泛使用。

虽然有强有力的证据表明大脑中存在临界状态，但还没有人完全解释为什么我们的大脑会以这种方式运作。这个新结果是朝这个方向迈出的一步。该团队下一步计划在神经元的连接方式中加入一些随机性，就像我们大脑中的情况一样。

参考文献：

[1] P. Cheeseman, B. Kanefsky, and W. M. Taylor, in Proceed- ings of the 12th International Joint Conference on Artificial Intelligence—Volume 1 (Morgan Kaufmann Publishers Inc., San Francisco, CA, 1991), IJCAI’91, pp. 331–337, ISBN 1558601600.

[2] L. Saitta, A. Giordana, and A. Cornue ́jols, Phase Transitions in Machine Learning (Cambridge University Press, Cambridge, England, 2011).

[3] S. Ganguli, D. Huh, and H. Sompolinsky, Proc. Natl. Acad. Sci. U.S.A. 105, 18970 (2008).

[4] T. Toyoizumi, Neural Comput. 24, 2678 (2012).

[5] See Supplemental Material at http://link.aps.org/supplemental10.1103/PhysRevLett.128.168301 for further details on theoretical calculations, numerical simulations, and computational tasks.

[6] P. C. Hohenberg and B. I. Halperin, Rev. Mod. Phys. 49, 435 (1977).

[7] U. C. Taeuber, Critical Dynamics: A Field Theory Approach to Equilibrium and Non-Equilibrium Scaling Behavior (Cambridge University Press, Cambridge, England, 2014), ISBN 9780521842235.

[8] P. Moretti and M. A. Muñoz, Nat. Commun. 4, 2521 (2013).

[9] P. Mehta and D. J. Schwab, arXiv:1410.3831.

[10] D. A. Roberts, S. Yaida, and B. Hanin, The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks (Cambridge University Press, Cambridge, England, 2022).

[11] H. Sompolinsky, A. Crisanti, and H. J. Sommers, Phys. Rev. Lett. 61, 259 (1988).

[12] J. Schuecker, S. Goedeke, and M. Helias, Phys. Rev. X 8, 041029 (2018).

[13] K. Krishnamurthy, T. Can, and D. J. Schwab, Phys. Rev. X 12, 011011 (2022).

论文 Abstract

Criticality is deeply related to optimal computational capacity. The lack of a renormalized theory of critical brain dynamics, however, so far limits insights into this form of biological information processing to mean-field results. These methods neglect a key feature of critical systems: the interaction between degrees of freedom across all length scales, required for complex nonlinear computation. We present a renormalized theory of a prototypical neural field theory, the stochastic Wilson-Cowan equation. We compute the flow of couplings, which parametrize interactions on increasing length scales. Despite similarities with the Kardar-Parisi-Zhang model, the theory is of a Gell-Mann–Low type, the archetypal form of a renormalizable quantum field theory. Here, nonlinear couplings vanish, flowing towards the Gaussian fixed point, but logarithmically slowly, thus remaining effective on most scales. We show this critical structure of interactions to implement a desirable trade-off between linearity, optimal for information storage, and nonlinearity, required for computation.

神经动力学模型读书会

随着电生理学、网络建模、机器学习、统计物理、类脑计算等多种技术方法的发展，我们对大脑神经元相互作用机理与连接机制，对意识、语言、情绪、记忆、社交等功能的认识逐渐深入，大脑复杂系统的谜底正在被揭开。为了促进神经科学、系统科学、计算机科学等领域研究者的交流合作，我们发起了【神经动力学模型读书会】。

集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，激发科研灵感，促进科研合作。【神经动力学模型读书会】由集智俱乐部和天桥脑科学研究院联合发起，已于3月19日开始，每周六下午14:00-16:00（或每周五晚上19:00-21:00，根据实际情况调整）进行，预计持续10-12周。期间将围绕神经网络多尺度建模及其在脑疾病、脑认知方面的应用进行研讨。