量子神经网络的过参数化理论与临界相变 | Nature Computational Science 速递

关键词：量子神经网络，过参数化现象，临界相变，信息论，计算复杂性

论文题目：Theory of overparametrization in quantum neural networks

期刊来源：Nature Computational Science

斑图链接：https://pattern.swarma.org/paper/ba7fb5e4-1477-11ee-9f2e-0242ac17000d

量子神经网络（quantum neural networks，QNNs）是一种新型神经网络，根据量子力学原理进行计算。利用量子神经网络实现量子优势的前景令人兴奋。了解量子神经网络的属性（如参数M的数量）如何影响损失景观，对于设计可扩展的量子神经网络架构至关重要。

与传统的神经网络不同，量子神经网络的参数化状态轨道由参数的数量决定。最新发表于Nature Computational Science的一项最新研究严格分析了量子神经网络中的过参数化（overparametrization）现象，将过参数化定义为：量子神经网络具有超过临界数量 M_c 的参数，允许它在状态空间中探索所有相关方向。如果参数数量不足（欠参数化，Underparametrization），在参数化状态轨道中可访问的方向就会受到限制，进而导致虚假的局部极小值的出现，这是优化问题中的一个常见难题，此外还会导致损失景观（loss landscape）中的复杂性相变。

主要结果表明，从量子神经网络的生成器得到的李代数的维数是 M_c 的上界，也是量子 Fisher 信息和 Hessian 矩阵所能达到的最大秩的上界。欠参数化的量子神经网络在损失景观中有虚假的局部极小值，并且当 M≥M_c时开始消失。因此，过参数化的开始对应于一种计算相变，此时量子神经网络的可训练性大大提高。

然后，研究者将过参数化概念与量子神经网络的容量联系起来，发现过参数化现象也可以被视为容量饱和。这意味着，当参数的数量达到一定阈值时，增加更多的参数并不能带来更好的性能。因为当参数数量过多时，模型可能会过拟合训练数据，导致在新的数据上性能下降。

这项研究为我们理解和优化量子神经网络提供了新视角。通过深入理解过参数化现象，可以更好地设计和训练量子神经网络，在各种任务中实现更好的性能。