论文题目：

Effective Dynamics of Generative Adversarial Networks

论文地址：

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.041004

生成对抗网络（GAN）是一类包含生成器（generator）和判别器（discriminator）的机器学习模型，它通过两个神经网络间的对抗训练，使生成器学习产生具有与训练样本相同（可能非常复杂）统计的新样本。一种主要的训练失败类型称为模式坍塌（mode collapse），其中生成器无法重现目标概率分布中的模式的全部多样性（diversity）。尽管在GAN方面已经有了大量工作，但模式坍塌的根本原因还没有得到很好的理解。

在本文中，作者提出了一个GAN训练动力学的简化模型，使我们得以研究模式坍塌发生的条件。该模型将生成器神经网络替换为输出空间中的粒子集合。这种“生成器粒子”的动力学由受判别器调节的与训练数据的相互作用和受生成器调节的粒子-粒子相互作用共同控制。该模型揭示了由训练速率和相对粒子-粒子耦合强度的比率控制的模式坍塌转变。

图2：GAN训练动力学示意图。上图：模式坍塌。下图：模型收敛。

该模型还让作者得以研究正则化（对学习动力学引入额外的约束）对避免模式坍塌的影响。作者发现具有中等强度的基于梯度的正则器（regularizer）可以通过生成器动力学的临界阻尼来最优地产生收敛。因此，本文的有效GAN模型为理解和改进对抗性训练提供了一个通用且可解释的物理框架。

推荐阅读