导语

5月9日，DeepMind 团队与 UCL 在 Nature 上发表重磅研究成果：人工智能演化出和动物大脑类似的空间导航能力，引起人工智能和神经科学领域的热议。本文是 DeepMind 官网对这项工作的介绍。

1.网格细胞——

动物大脑里的 GPS

大多数动物，包括人类，都能灵活地在他们所生活的世界中辨别方向。这样就可以探索新地方，迅速回到记忆中的地点，同时还能“抄近路”。事实上，这些能力对我们而言是非常简单和自然的，以至于我们不能马上看出这潜在的过程到底有多复杂。相比而言，人工智能在很多方面都已经远远超过了人类，但是在空间导航能力方面，还差的很远。

2005年，一个惊人的发现揭示了神经系统空间导航能力的一个关键机制：当动物探索环境的时候，神经元会以六边形网格的模式激活。类似于地图上的网格线，这样的网格对于导航能力是有促进作用的。

动物脑中激活的网格细胞，呈六边形“蜂窝状排布”

这些被称为网格细胞(grid cell)的神经元除了给动物装备了一个内部的坐标系外，最近也被作为一种假说来支持基于矢量的导航系统(vector-based navigation)。意思就是说，这使得大脑可以像乌鸦飞行那样(利用欧几里得距离)计算目的地的距离和方向，就算没有遵循准确的路线，也可以在不同地方之间旅行。

首次发现网格细胞的研究小组，因为揭示出空间认知表征可能的工作方式，于2014年共同获得诺贝尔生理学或医学奖。但是经过了十多年的理论研究，我们仍然不清楚网格细胞的计算功能，以及网格细胞是否支持基于矢量的导航。

当 Agent 穿过一些称之为激活区域(firing fields)的地方时，网格细胞的激活模式。

这个颜色编码的图，显示了生理上的网格细胞的激活强度分布。颜色变化表示强度从最弱的蓝色到最强的橙色。

在解剖学上，生物上的网格细胞被分割成不同尺度的神经单元（灰色的椭圆）。每个规模的神经元在图上呈激活状态即橙色。通过解读网格细胞活动的模式，即“网格编码”，动物就可以在环境中进行定位。

网格细胞激活区域通过三角形连边，形成了网格遵循的六边形规则。

2.人工智能自发演化出

与动物网格细胞类似的网络结构

DeepMind在最近在Nature上发布的论文”Vector-based navigation using grid-like representations in artificial agents“上，研究人员开发了一个智能主体（Artificial Agent）来验证网格细胞是否支持了“基于矢量的导航系统”的理论。

研究人员首先训练了一个RNN网络，这个网络主要利用了一个运动相关的速度信号，来在虚拟环境中对自己所处的位置进行定位。这个能力主要被人类用于在不熟悉或者很难找到地标的环境中（比如黑暗环境）进行定位。

研究人员发现类似动物的六边形网格，很自然地就出现在了神经网络中。而且跟在人类的神经活动中观测到的模式非常的相似。也支持了网格细胞提供了一种对空间的高效编码的观点。

人工智能生成了类似网格的表示（上图），这跟哺乳动物的网格细胞（下图）非常相似。

3.构造智能Agent

测试网格结构的导航能力

进一步了解智能主体 Agent，请移步阅读集智俱乐部推文《多主体智能与人工社会》

接下来研究人员构造智能主体来实验，为了验证“网格细胞是否支持基于矢量的导航系统”。通过将初始的网格网络和一个更大的网络结构相结合，形成了一个可以通过深度强化学习来训练的智能主体（Artificial Agent），以便在 VR 游戏虚拟空间环境中测试其导航能力。

这个 Agent 表现出了超人的能力，甚至超越了职业玩家。如果环境中存在捷径，它也会“抄近路”，这展现了与动物相似的灵活的导航能力。

经过一系列的试验，研究人员发现了网格表示对于基于矢量的导航系统的重要性。例如，当网络中的网格神经元被无效化（路径隔断）时，Agent 的探路能力也会下降。而且对于目标的方向和距离的衡量也会变得不准确。

同期Nature的另一篇文章展示了 Agent 如何“抄近路”。在哺乳动物的大脑中，当动物处在环境中的一个特定的位置的时候，位置细胞会激活。当头朝向特定位置的时候，方向细胞会激活。

如果把环境构造成一个六边形的网格，动物处于其中的一个网格的时候，网格细胞就会激活。研究人员利用神经网络训练了一个 Agent 来模仿啮齿动物的寻路过程，当然也包括了位置和方向细胞的活动。神经网络中的许多计算单元表现出了一种类网格式的激活模式。

a图中，在学习导航的过程中，使用网格细胞的系统（红色的线）和使用方向和位置细胞的系统（蓝色的线）都走了相同的路线。

b图中，如果存在捷径，比如打开了那个之前关闭的门。只有使用网格的系统会去“抄近路”。这凸显了网格细胞的灵活的寻路策略。

4.图解：AI 如何带你找到目的地

利用网格单元的基于矢量导航的示意图。

底部的圈圈表示了不同尺度下的网格单元。有颜色的细胞表示激活的细胞。当 Agent 移动的时候，网格单元会激活，表示当前的网格编码的改变，以反映进入了不同的激活区域。网格单元用来计算到目的地最短的路径。

Agent 从右下的橙色点开始出发，左上的绿色点是目的地。当 Agent 探索房间的时候，网格单元会激活表示 Agent 的位置（橙色的椭圆）。这种网格单元在 Agent 当前位置活跃的模式就是“当前网格编码”。

当 Agent 通过蜿蜒的路径第一次到达目的地时，网格单元会激活成绿色表示 Agent 已经到达了目的地，目的地会存储在目标网格编码中，于是 Agent 现在就知道了目的地的位置了。

接下来当 Agent 再一次从起始点开始的时候，会从记忆中获得目的地的网格编码。然后计算一个从起点到目的地最近路径的向量。Agent 会跟着这个计算出来向量走一个最短的路径。

于是 Agent 就利用基于向量的导航系统到达了目的地。

5.人工智能有望解出更多大脑谜题！

DeepMind的研究人员认为，他们的研究是理解大脑中网络细胞基础计算功能的重要一步，这也凸显它们对 Agent 的好处。这些证据有力支持了一种理论，即网格单元提供了一个欧几里得的空间框架或者说一种空间的概念。这使得基于矢量的导航成为了可能。

更广泛地说，先前研究人员的工作重申了利用大脑作为构建机器学习算法灵感的潜力。之前广泛的对于网格细胞的神经科学研究使得人工智能具备了可解释性。这便是人工智能研究的一个主要的课题。当尝试理解内部表征时，通过给我们一些线索，我们更容易明白应该去寻找什么。这项研究还展示了逼真虚拟环境下使用人工智能积极参与复杂行为的潜力，这可以来测试大脑如何工作的理论。

进一步使用这个原则，类似的方法可以用来测试关于大脑区域的理论，这些区域对于感知声音和控制四肢是很重要的。在未来，这种神经网络很可能为科学家提供一种新的方式来进行试验，提出新的理论，甚至完成目前在动物身上做的一些研究。