Max Tegmark 组：大模型学习到时间和空间的结构化知识

关键词：大语言模型，世界模型，空间神经元，时间神经元

论文题目：

Language Models Represent Space and Time

论文地址：

https://arxiv.org/abs/2310.02207

尽管现代大语言模型只是被训练来预测下一个标识（token），但它已经展示出一系列令人印象深刻的能力，这引发了人们对这些模型实际学到了什么的质疑和担忧。一种假设是，大语言模型学习了大量的相关性，但是在只进行文本训练的情况下，缺乏连贯的模型（coherent model）或对背后的（underlying）数据生成过程的“理解”。另一种假设是，大语言模型在压缩数据的过程中，学习了训练数据背后的生成过程的更紧凑、连贯和可解释的模型，即世界模型。

图1：Llama-2-70b的空间和时间世界模型。

在这项工作中，作者试图回答大语言模型是否形成了世界（和时间）模型的问题——他们试图提取一张真实的世界地图！作者通过分析Llama-2模型家族中三个空间数据集（世界、美国、纽约市）和三个时间数据集（过去3000年历史人物的死亡年份、20世纪50年代以后艺术和娱乐的发布日期、2010年至2020年新闻头条的发布日期）的学习表示，找到了上述第二个假设的证据。作者发现，大语言模型学到了横跨多个时空尺度的空间和时间的线性表示。这些表示对提示的变化是鲁棒的，并且在不同实体类型（例如城市和地标）之间是统一的。