论文题目：

Effective Dynamics of Generative Adversarial Networks

论文来源：Physical Review X

论文链接：

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.041004

生成对抗网络（GANs）是机器学习模型的一个系列，它由两个神经网络（生成器和判别器）组成，它们相互竞争，从而使生成器学会生成与训练样本具有相同统计数据的新数据。模式坍缩（mode collapse）是训练失败的一种主要形式，在这种情况下，生成器无法再现训练数据中模式的全部多样性。尽管在 GAN 方面做了大量工作，但人们对模式坍缩的根本原因仍不甚了解。

该研究建立了一个简化的 GAN 训练动力学模型，以研究模式崩溃发生的条件。该有效模型将生成器替换为输出空间中的粒子集合。生成器粒子的动力学受制于由判别器介导的与训练数据的相互作用，以及由生成器介导的粒子与粒子之间的相互作用。该模型揭示了由训练率比率和粒子-粒子耦合强度控制的模式坍缩转变（mode collapse transition）。

图1：使用 ReLU 鉴别器进行模式坍缩转变的相变图。

此外，该模型还允许我们研究正则化（对学习动态引入额外约束）对避免模式崩溃的影响。特别是，研究发现基于梯度的中间强度正则化可以通过对生成器动力学的临界阻尼产生最佳收敛效果。故而，该模型为理解和改进对抗训练提供了一个通用的可解释物理框架。

图2：模式崩溃和正则化强度的关系

点击“阅读原文”，追踪复杂科学顶刊论文