导语

在智力测试中，与视觉相关的题目很常见。然而通过训练一个智能agent来解答这类问题，依然困难重。一篇发表于《美国国家科学院院刊》（PNAS）的最新论文，在统一的框架下，对如何使用AI解决视觉类谜题给出了五条策略，并讨论了人工智能与认知科学的相互启发。

1. 智力测验必考的图形推理问题

看图找不同，看图找相似，看图找规律补全……这类问题被称为图形推理问题。因为图形推理问题需要测试者从情境中提取并理解信息，所以它既是一种人类智力测验的问题，也是小学考试题的常客。

图1：经典的图形推理测试——Raven

如图所示的问题叫做 Raven 测试，是很经典的一种智力测验题目。甚至不用任何文字说明，就大概就能猜出来接下来要干什么——根据已知图片找寻规律，进而从多个选项中，挑出空缺的图片。

即使是对第一次接触这类题目的人而言，这类测试也很简单。

这是因为人类能够对视觉符号进行抽象，并将提取的特征储存在工作记忆中。然而这样的问题，对已有的智能体（agent）来说，由于其目前仍依赖于模式识别进行推理，进而无法在第一次接触这类题目时就给出解答。

2. 为什么需要AI尝试解决 Raven 测试？

对 Raven 等图形推理问题的研究早已有之，但往往依赖于设计良好的程序和背景知识。

最早期的工作，用逻辑式编程语言（如 Lisp），将该图像推理问题经由手工编写的程序，转换成命题表示（如属性值对列表），然后再解决对应的逻辑问题。该过程用不到机器学习。其中的代表是上世纪60年代的 ANALOGY。跟人相比差距较大，人类在不经受任何事先训练的前提下，就可以轻松回答 Raven 问题。

第二代针对 Raven 测试问题的程序，仍然是基于知识的，包括旋转、图像合成、视觉相似性等。程序可以直接访问和操纵题干图像，甚至在推理过程中经常产生新的图像。

而第三代解决 Raven 测试问题的程序，则是通过对大量实例问题的输入输出对进行训练，以学到视觉空间域知识的综合表示与问题作为解决策略。

类似 Raven 这样的难题之所以重要，是因为其作为智力测试，考察了人类认知中最基础的能力——从复杂情境中提取和理解信息。

目前 Raven 测试的难度范围跨越很大，针对孩子或成人的都有。如果智能体能够在这类问题解决上取得突破，那么其方法就有可能应用到更广泛的问题解答中。

3. 怎样用智能主体解决图形推理问题？

一个框架与五种策略

研究者在论文中给出了一个通用框架，从输入问题到形成解决方案。

图2：解决视觉谜题的智能体所需的算法框架

在该算法框架中，首先是定义问题，即将问题中的视觉元素抹去。其次通过问题模板，将原始问题变为逻辑问题。这一步类似于将国际象棋的棋盘图像，变转化成抽象的棋局形势。而图中的领域知识，则是基于诸如对称性、顺序几何图案、行和列等，为解决给定类型问题所需的知识或概念。而在备选答案中进行选择的模块，则是根据多种指标，从多个可能的答案中挑出最优的那一个。

在上述框架中，最重要的是位于中间的部分，即根据领域知识和抽象后的问题，找出解决策略的步骤。这也是接下来的五种策略所要讨论的。