人脸和宇宙是啥关系？看物理学家怎样用重整化群流模型重新理解视觉

导语

深度学习技术，尤其是生成模型在图像问题处理上大放异彩。而生成模型之所以展现出强大的多层信号处理能力，与物理学中的重整化群理论密切相关。研究者结合重整化群方法和流模型，开发出可以发现自然作用力的AI“物理学家”，以及具有高可解释性与可控性的计算机视觉生成模型。相关研究发表在 Physical Review Research、Physical Review Letters 等期刊上，本文是对该研究方向的介绍。

本文作者、加州大学圣地亚哥分校博士生扈鸿业是集智凯风奖学金获得者。如果你正在攻读学位，研究前沿课题，可联系我们申请。详情见：集智-凯风奖学金计划开放申请：孕育原创思想，启迪科研创新
扈鸿业 | 作者
邓一雪 | 编辑

第零部分序

随着深度学习的发展，我们已经感受到了机器学习在计算机视觉、自然语言处理、强化学习等诸多领域取得了令人赞叹的进展，这些先进的技术也在随着时间的推移进入人类的生活，帮助人类优化其生产力。作为一个新兴的学科与技术，深度学习也在科学研究上崭露头角。一方面，大家把深度学习、神经网络作为一个独立的客体，试图理解它的行为，并借助人类已知的一些概念设计更有趣的神经网络；另一方面，神经网络也作为一个新型的工具帮助科学家通过更快的模拟量子物理、量子化学，挖掘生物信息等等来理解自然世界。

第一部分基于流模型的生成模型

在深度学习中一类重要的问题叫做生成模型（generative model）。比如我们拥有如下图的人脸数据集，我们如何生成更多类似的人脸数据并且让生成的数据看起来和真的一样呢？生成模型想解决的就是这个问题，比如图1中有很多人像照片，他们是由真实人类通过照相摄影产生的。那么图2中也有四张人像照片，你是不是很难分辨这四个人哪个是真实的人类，而哪个是机器产生的“假人类”呢？实际上这四张图片都是由作者在撰写此稿的时候机器想象出来的假人，不知道你答对了嘛？

图1

图2

生成模型具体实现的方式有很多，比如生成对抗网络（generative adversarial networks）、变分自动编码器（variational autoencoder）、流模型（flow-based model）等等。本文将主要关注在流模型上（具体说是连续空间的流模型，即的取值范围是实数域）。简单来说，流模型就是通过一系列的可逆变换把一张容易得到的白噪声图片变换成一个我们想要的图片的工具。如图3所示，通过对像素的变换可以把一张白噪声图片转换成一张小女孩的照片。更形象一些，我们可以把流模型想象成一双神奇的艺术家之手，经过这双神奇的手我们可以把散漫无序的沙堆砌成我们想要的艺术品，那么如何找到这样一双神奇之手呢？我们将采取神经网络来对它建模。

图3

从数学上去理解生成模型在做什么，我们可以认为这些真实的人脸数据都是从某一个我们并不知道的概率密度分布中采样出来的，其中就是每一张图片。这样看来，让一个机器去生成更多长得像“真人”一样的图片，从数学上就变成了让机器产生一个变分概率去拟合真实的人脸分布。如果机器可以拟合得足够好，那么我们就可以从产生更多的图片，他们也会很像真实的人脸。

为了更好地理解流模型，我们先来看一个简单的例子。假设我们有一个红色的双峰概率密度分布 p(x) ，如图4所示，我们如何从这个分布里面去进行采样呢？

图4

假设我们可以从高斯分布中做直接的采样，即我们可以从蓝色的 p(z) 分布进行对的直接采样，那么我们可以找到一个可逆的双射（bijective map），x=G(z) ，把每一个 z 映射到 x。我们可以看到这个映射G在中间导数很大，两边导数很小，这样就可以在映射之后中间的部分采样稀疏，而两边的地方采样密集。这样我们就可以对高斯分布进行直接采样，然后把得到的z按照双射变换为x，从而实现对x的直接采样。数学上这样两个分布有如下的联系：

其中被称作雅克比行列式。如此看来，我们想去对一个复杂的概率密度分布采样，如果可以找到这样一个双射，把这个复杂的分布变成简单的分布，比如高斯分布，我们便能对复杂的分布进行直接采样。那么我们要如何去寻找这样一个双射呢？一个想法是我们去构造一个变分假设，其中θ泛指变分假设中所有的参数。通过这个变分假设的双射，我们可以把简单的分布变换成

现在我们想去对变分参数θ进行优化，使得尽可能的逼近目标概率密度分布。对于两个概率密度分布的“距离”，其中一个常用的指标是KL散度（Kullback-Leibler divergence），它的定义是

KL散度可以证明是一个大于等于0的量，当两个概率密度完全一致的时候，KL散度为0。所以通常我们可以去优化减小变分分布和目标分布的KL散度，使得他们更加相近。（注：但是KL散度不是严格意义上的距离，因为p和q不具备交换对称性）

图5

那么我们要如何去构造一个足够一般的双射变换作为变分假设使得它可以尽可能去拟合任意的可逆变换（双射）呢？根据深度学习的思想，我们可以构造一些相对简单的双射 Gi ，然后把他们如图5所示一样的串联起来，从而形成一个相对复杂的变分假设。这样的想法就和搭建乐高积木一样，我们希望构造一些乐高积木的基本单元，然后通过迭代让他们涌现出复杂的行为。这点和凝聚态物理中简单的粒子通过相互作用来涌现复杂的行为也有异曲同工之妙。在机器学习的研究中，人们提出了一些基本的可逆变换，被大家广泛使用，比如Real NVP、invertible convolution、invertible resnet等等。如何构造表达能力强且简单的可逆变换，也是生成型模型研究的一个重点。而我们本文想要讨论的是假设我们已经拥有了基本的可逆变换作为乐高积木的话，我们应该按照什么样子的蓝图来搭建它们，使得他们组成一个”智能“的网络能处理具有多层次特点的自然信号呢？

第二部分重整化群流模型与全息原理

为了更好地理解生成型模型和物理学的关系，先让我们来看一看（量子）场论是如何与计算机科学中的图片集构建联系的。物理学中的场（field）是对时空的连续性描述，可以把它看做是时空到某一个流形（manifold）的映射。通俗一点讲，我们可以举一个例子。如图6所示，我们可以把一个二维时空的标量场（scalar field）看做是一张灰度图，即每一个像素点被映射到一个标量上；而二维时空的矢量场可以被类比为一张RGB彩色图片，每个像素有一个RGB矢量来表示颜色。这样我们就可以把物理中场论中场的各种构型看成一张张不同的图片。那么我们怎么通俗地理解场论呢？

图6

场论给每一个场的构型设定了一个概率或者negative log-likelihood，就如图7所示。那么有的场的构型出现的概率较大，有的场构型出现的概率较小。这就类似于人脸图片集中人脸出现的概率就比白噪声出现的次数要多得多。如此看来，大自然本身就是一个生成模型，它无时无刻不在为我们生成和展现它自己美丽的图片。而从这个角度来看，人工智能中的生成型模型也是对场论的一个很自然的描述。所以我们自然会想知道如何可以构建一个人工智能的生成模型来描述场论，描述自然。当我们给这个AI一个场论的描述（action）之后，它是不是能学习出物理，然后像大自然一样为我们生成符合这个场论描述的场构型呢？

图7

大自然中的信号是分尺度的。在每个尺度都涌现出了不同的有效理论，就如图8中这个蛇形图案给我们展现一样。在微观尺度我们具有量子力学、粒子物理学。如果我们把观察的尺度再放大一些，我们就会有化学、生物学等等。凝聚态物理学大师 P. W. Anderson 先生在70年代撰写过一篇名为“more is different”的文章。文中向大家阐述了随着体系中客体数量的增加，由于多个客体间的相互作用，整体可能涌现出复杂的行为，并且这些行为是单个客体所不具备的。这也是为什么不同尺度会涌现出不同的理论的一个原因。那么有没有一个理论可以作为桥梁来链接不同尺度的理论呢？在物理学中，这样的理论叫做重整化群（renormalization group）。

图8

图9

简单来说，我们可以把重整化群的操作想象成对图片不断进行局部粗粒化的操作，从而我们对于体系的描述也从微观（UV）变得越来越宏观（IR），通过不断的抹去细节不重要的信息，我们得到的是对体系更加重要的宏观信息。这个过程也可以用图9的卡通来进行展示。当然，对于传统的物理体系，局部粗粒化的规则是物理学家通过对物理体系的分析和人类的智慧来定义的。自然我们也会想到，如果生成型模型AI是大自然的一个假设（ansatz)，那么它能不能也自己定义局部粗粒化的规则，来分析出体系中哪些信号是局部的，而哪些信号是宏观的呢？通过对这些问题的思考，我们一同提出了重整化群的流模型和重整化群的信息学理论。

首先，我们看到了在传统意义重整化群粗粒化的过程下，局部信息是被丢弃掉了。这样具有局部信息损失而造成了传统意义下的重整化群操作是不可逆的。所以我们扩展了重整化群的操作，与其在局部粗粒化的过程中抹去不重要的细节信息，我们可以不去丢掉它，而是把它留下来放到一个“容器”中存着它。这样如果我们想从大尺度的图片出发，反向还原细节图片的话我们就可以再一次把“容器”中留下的这些信息片段补回去，就如图10所示。（关于网络更多的细节欢迎阅读我们的文章，或联系作者）

图10

图11

我们设计了具有多层级局部操作的神经网络（图11）。但是如何保证这些局部操作完成的是重整化群操作呢？为此我们在文章中也讨论了重整化群的信息学理论，可以简单地理解为机器需要把局部操作中丢到“容器”中保存下来不重要的东西尽可能像白噪声。通过这样的信息学指导和具有多层级局部操作的神经网络结构，我们的“人工物理学家”已经搭建完备了！为了检测它是不是具有分析物理体系性质，和生成物理体系构型的能力，我们拿物理中complex phi-4场论来对它进行了测试。

图12

它在一定极限下的简易模型可以理解为在一个二维网格上每个节点放置一个小磁针。小磁针在一定温度下由于热涨落希望在格点上随意转圈。而小磁针之间也会有相互作用力，它们喜欢一致，而不喜欢“异类”。也就是说它们都指向同一个方向会让他们能量更低，更舒服。这样一个简单的体系具有丰富的物理内容，人们发现在一定温度的时候体系会发生一个相变。在低温的时候小磁针都会彼此顺着对方进行整体的旋转，而在高温的时候他们就会完全无序的各自随意旋转。这个相变也是2016年诺贝尔物理学奖的重要工作之一。图13卡通展示了小磁针模型的一个场构型。

图13

现在我们给了机器对于这个体系最为精简的描述，即能量函数，它是不是能发现这些有趣的物理呢？我们发现对于不同的温度，这个AI确实可以发现这个体系具有两个行为不同的区间，更为准确地说是两个不同的相（phase）。

图14

如图14所示，机器可以通过计算发现在低温的时候体系是在拉廷格液体相，而在高温的时候体系在无序相，更准确的机器可以计算出在不同区间关联函数行为的不同。这说明我们的构架的AI可以通过能量函数来学习到一些有趣的物理。并且我们的AI在设计的时候就希望它能够自发地分析和区分大尺度低能的物理自由度和小尺度高能的物理自由度，我们也在实验中惊喜地发现在网络上端描述大尺度的地方，它找到了对于这个体系低能的goldstone mode。（注：理论上此二维体系没有对称性自发破缺，所以不应该有goldstone mode，但是对于有限尺度体系，体系大小会造成对称性破缺，所以有对应的goldstone mode）

那么构建一个这样的AI“物理学家”有什么用呢？首先，我们看到了它可以根据体系的最精简描述来发现体系不同的相，并且它能够区分出什么是局部细节信息和宏观的大尺度信息。而且作为一个生成型模型，它一旦学习完备，就可以像大自然一样很快地帮我们产生对于这个体系大量的图片（snapshot），帮助我们快速有效地数值模拟这个物理体系。看到这里，不知道你是不是觉得这个很神奇呢？下面我们介绍一些更加神奇而有趣的物理。

我们都知道大自然有四种基本的相互作用：1. 万物都有的万有引力；2. 掌控电磁的电磁力；3. 小尺度上的弱相互作用；4. 最强王者强相互作用。那么除了第一种力之外我们对剩下三个力都有了量子理论的描述，统一被称为标准模型（standard model）。对于引力，我们对它只有经典描述，没有量子描述。那么，引力究竟是什么？在过去的很长时间里吸引了大量的物理学家对其进行研究。从爱因斯坦的理论中，我们学习到了引力可以被理解成一种时空的扭曲，一种时空的几何性质。在21世纪初，物理学家胡安（Juan Maldacena）做出了另一个令大家兴奋的发现，就是某一些特定的量子理论可以看做是一个经典引力理论的边界，它们严格对应，是对同一种物体的两种不同描述。这样的理论我们可以科幻地想象成“瓶中宇宙”（如图15所示）。在瓶子的边缘上生活着量子理论，它可能是二维的，那么它对应于瓶子里面就存在着一个三维的宇宙，具有经典的引力。这样的事情就像看3D电影一样，银幕上是一个二维的平面，但是一旦你带上了3D眼镜，就观察到了3D的“新世界”。而这个3D世界上所有的信息其实都包含在这个二维银幕上。

图15

那么我们给机器生活在二维“银幕”上的量子体系，它能不能发现这个银幕背后描述的3D世界发生的五彩缤纷的故事呢？我们用重整化群流模型这个人工智能对此进行了测试，提供给它”瓶子“边界上的量子体系，经过学习二维的量子体系，我们发现它的三维体空间确实存在一个有序的几何结构，也就是引力体系，就如图16(b)中展示的一样，非常漂亮。（注：更多严谨描述见论文）

图16

最后借用王磊老师的一句话进行本章的结尾：
“如果物理学家是把咖啡变成公式的’机器’，那么生成模型就是把公式再变成我们看到的五彩缤纷大自然的智能。”

第三部分重整化群流模型与计算机视觉

上面我们介绍了重整化群流模型在物理学中的一些应用，通过它来模拟物理体系、区分小尺度和大尺度的信号、解码全息宇宙等等。下面我们来看一看这个物理学家们研发的AI在其他任务上有没有什么应用价值呢？

图17

大自然中的众多的信号都是具有多层级结构的，这就启发我们去探索应用同样的思想是不是能够构建一个神经网络来处理自然图片。就拿图17的人脸图片举个例子，一张人脸的图片，在大尺度下能提供给我们的信息是这个人的性别、年龄、情感（比如是不是开心）等等，在中等尺度上的信息可能是眼睛大小、鼻梁高低、有没有发帘等等，在更细小的尺度上提供给我们的可能是脸上皱纹的纹理、胡须等等。这些都是蕴含在一张人脸图片中不同尺度上的信息。人工智能在生成“虚拟”人脸、“虚拟”视频上已经做到了炉火纯青的地步，值得一提的是，上面五张人脸都是由机器自主生成的，我们很难看出来它和一个真正的人的照片的区别（所以可能也没有版权的问题）。但是仅仅是生成很漂亮的图片还没有到达真正的智能。为了更近一步，我们希望这个机器在生成一张人脸图片的时候，不仅可以做到比较漂亮，而且它也是知道自己生成的时候哪部分是大尺度信息，哪部分是细节信息。就像一个画家在作画的时候，会自然地先去勾勒出他想画的内容的轮廓，然后不断地往里面完善细节，并且当我们想对某些细节做修改的时候可以很自然地去修改。而不是先画左上角，完成了再画左下角。

秉承重整化群流这个技术的核心思想，我们设计了更为复杂的神经网络（RG-Flow）来在人脸图片集（CelebA）上进行训练。在训练完成后我们可以看到（图18a）机器会从大尺度先勾画人脸的形状，然后不断添加细节信息，最终完成人脸的创作。为了更好地探究和理解机器是如何进行人脸生成的，我们借用视觉神经学和卷积神经网络中感知域的概念，定义了我们生成模型中“神经元”的感知域。简单的理解就是这些神经元对哪些图片区域更加感兴趣。通过我们的研究发现，其中很多神经元是不大活跃的，而其中活跃的神经元中可以看出非常有趣的事情。首先，越深层的神经元的感知域越大，越浅层的神经元的感知域越小。这是由我们重整化群想达到区分局域和全局信号的效果来保证的。而且这个和真正生物中的视觉中感知域的分布也是一致的。在生物视觉前段的视网膜神经细胞感知域大多是简单的圆圈或者点，而后期的视觉皮层中视觉神经的细胞的感知域会变得更加复杂，来检测看到视觉信号的一些图案（pattern）。如图18b所示，我们展现了我们的人工智能神经元的感知域分布，越靠上的感知域对于越深层的“人工神经元”。并且我们可以看出，对于越深层的“神经”，它的感知域会出现越来越多的图案，比如眉毛、眼睛等等。

图18

我们将会看到，这些对于特定区域反应强烈的“神经”，将会控制这个区域图片的生成。比如：假设一个“神经”的感知域是眼睛，那它大概率会控制生成时候眼睛的大小。于是我们选取了不同层次上感知域较为强烈的“神经元”，来探索他们在图像生成上究竟做了些什么。为了研究单个“神经”在图像生成中的作用，分离出其他变量可能产生的影响，我们采取了在生成图像时把所有的其他变量都控制不变，而只改变要研究的“神经”，让它产生单独的大小变化。通过这样的系统研究，我们在不同层次上找到了一些具有可解释性的“神经元”。

图19

如图19所示，在宏观尺度上（或者是高层表示上），我们可以看到有“神经元”可以控制生成人像的性别（Gender），如果我们把它单独从小调大，那么对应的人脸会逐渐减小女性特征，增强男性特征。再比如宏观尺度上的情感（Emotion），我们如果改变这个“神经”的大小，对应的人脸会由中性状态变为开心状态。类似的在宏观尺度上的因子（Factor）还有：光照（Light）、头部旋转（Azimuth）、发色（Hair）、肤色（Skin）。我们之前说到重整化群流（RG-Flow）最重要的是可以区分不同层级上的因子。所以在中等层级，我们也可以找到眼睛因子（Eye），它的改变对应于人脸眼睛的大小；发帘（Bang），它可以控制人像发帘的大小；眼眉（Eyebrow），它可以控制眼眉的粗细；衣领（Collar），它可以控制是否存在白色衣领。在小尺度上，我们也可以类似地找到控制单个眼眉、单个眼睛的因子。由于重整化群这个物理思想对于人工智能的指导，让我们得以在训练神经网络的时候不仅可以生成我们想要的人像，并且它也不再是一个完全的黑盒，而是一个我们可以理解的生成人像的神经网络。这些在不同层级上的控制因子可以让我们对生成的图片进行可控的调节。

图20

类比于全息宇宙，我们可以想象这个神经网络把二维的人脸图片进行编码并放到了三维的空间上，就如图20a中树状网络所示（为了简单我们只画了网络的侧面视图，所以底下蓝色的一维蓝点可以认为是二维图像）。图片不同尺度的信息被排列在了树状网络的纵深方向，这给了我们进行人像结合的一个新的维度。假设我们提供两张人像图片，如图20a中的黑发女和金发女所示，现在我们可以把她们俩进行合成，我们想要保持黑发女人像的大尺度信息，比如她的发色、性别、表情，但是我们想要合成的人像具有金发女的细节信息，就是五官。那么我们可以把两张图片都在树状网络的三维空间上进行编码，然后在纵深的维度进行组合。结合深度将会决定生成的新的人脸有多少金发女的五官信息。类似的我们在图20c中进行了更多的展示，比如上面一行7个人像作为高层级信息的源头，左边一列4个人像作为五官的信息源头，我们可以合成出中间很多新的人像是他们的组合。

有了更多的理论支撑，基于重整化群的视觉生成模型也给了我们更多理论可控的分析。比如当我们的人像图片产生局部的缺失需要复原的时候，我们的算法理论上可以在更短的时间（O(Log N)的复杂度）对图片进行修复。如图21所示，第一行为人像原图，而第二行我们用红色的色块来表示有损失的人像。第三行是我们的机器对缺失信息填补之后的结果。

图21

相信在不久的将来，我们会看到更多人工智能与物理学，科学碰撞而产生的火花。最后，对于更多动态图片的展示与开源代码，我们都将提供在GitHub上：
https://hongyehu.github.io/RG-Flow/

致谢

本文涉及到的所有工作由作者和其导师尤亦庄、中科院物理所王磊老师、李烁辉博士、吴典博士生、伯克利人工智能实验室陈羽北博士、Bruno Olsausen教授合作完成。作者还十分感谢在修改文章时Max Welling教授提出的宝贵意见，和与Koji Hashimoto教授在全息对偶上的交流，与吴从军教授在重整化群上的交流。同时也感谢集智和凯风基金会对我们的大力支持。

引用：[1] Shuo-Hui Li, Lei Wang. Phys. Rev. Lett. 121, 260601
[2] Hong-Ye Hu, Shuo-Hui Li, Lei Wang, Yi-Zhuang You. Phys. Rev. Research 2, 023369
[3] Hong-Ye Hu, Dian Wu, Yi-Zhuang You, Bruno Olsausen, Yubei Chen. ArXiv:2010.00029

课程推荐：本视频是作者对相关研究的讲解
课程地址：
https://campus.swarma.org/course/2318/study