论文题目：Disentangling Representations in Restricted Boltzmann Machines without Adversaries

论文来源：Physical Review X

论文链接：https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.021003

无监督学习常常会构造复杂的高维数据表示，将数据点映射成为分类，与数据相关的统计特征由隐层单元编码。这样的解纠缠表示使得解释数据中变化的重要潜在因素、和生成新的期望数据更容易。

然而，解纠缠学习通常依赖于对抗学习（adversarial scheme），需要调整数据表示，以避免鉴别器重构数据属性。但不幸的是，对抗性训练通常难以在实践中实施。

最近发表在 PRX 的这篇论文提出了一种简单有效的解纠缠方法，无需训练对抗性判别器。他们还将此方法应用在受限玻尔兹曼机（Restricted Boltzmann Machines，最简单的基于表示的生成模型之一）。此方法依赖于在训练过程中对权重引入足够的约束，将标签的信息集中在一小部分隐层单元上。他们还在在四个数据集（面部图像的CelebA数据集、二维伊辛模型、手写数字的MNIST数据集以及蛋白质家族的分类）上验证了此方法。

图2. 一阶和二阶约束。a）一阶约束：保证同均值。b）二阶约束：保证同方差。

图3. 在二维伊辛模型数据上训练受限玻尔兹曼机。

图4. 对数似然函数计算

AI+Science 读书会启动

详情请见：

人工智能和科学发现相互赋能的新范式：AI+Science 读书会启动

推荐阅读