关键词:解纠缠学习,受限玻尔兹曼机,机器学习,伊辛模型


论文题目:Disentangling Representations in Restricted Boltzmann Machines without Adversaries

论文来源:Physical Review X

论文链接:https://journals.aps.org/prx/abstract/10.1103/PhysRevX.13.021003

无监督学习常常会构造复杂的高维数据表示,将数据点映射成为分类,与数据相关的统计特征由隐层单元编码。这样的解纠缠表示使得解释数据中变化的重要潜在因素、和生成新的期望数据更容易。


然而,解纠缠学习通常依赖于对抗学习(adversarial scheme),需要调整数据表示,以避免鉴别器重构数据属性。但不幸的是,对抗性训练通常难以在实践中实施。


最近发表在 PRX 的这篇论文提出了一种简单有效的解纠缠方法,无需训练对抗性判别器。他们还将此方法应用在受限玻尔兹曼机(Restricted Boltzmann Machines,最简单的基于表示的生成模型之一)。此方法依赖于在训练过程中对权重引入足够的约束,将标签的信息集中在一小部分隐层单元上。他们还在在四个数据集(面部图像的CelebA数据集、二维伊辛模型、手写数字的MNIST数据集以及蛋白质家族的分类)上验证了此方法。


图1. 模型构架。a)对所有隐层施加约束。b)对隐层子集施加约束(红色)促进了对其余隐层的类分离(蓝色)。


图2. 一阶和二阶约束。a)一阶约束:保证同均值。b)二阶约束:保证同方差。


图3. 在二维伊辛模型数据上训练受限玻尔兹曼机。


图4. 对数似然函数计算




编译|朱欣怡


AI+Science 读书会启动

详情请见:
人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动


推荐阅读

1. Nat. Mach. Intell. 速递:软硬件协同实现高效的图机器学习
2. 伊辛模型百年小史:最经典的复杂系统模型,却险些被科学界遗忘
3. 什么是伊辛模型 Ising Model | 集智百科
4. 《张江·复杂科学前沿27讲》完整上线!
5. 成为集智VIP,解锁全站课程/读书会
6. 加入集智,一起复杂!


点击“阅读原文”,报名读书会