标题：A Survey of Generative Techniques for Spatial-Temporal Data Mining
链接：https://arxiv.org/abs/2405.09592
单位：香港大学、北京大学、南洋理工大学、清华大学、西湖大学、昆士兰大学、华为云、奥尔堡大学
作者：Qianru Zhang（张倩茹）, Haixin Wang（汪海昕）, Cheng Long（龙程）, Liangcai Su（苏良才）, Xingwei He(贺星伟), Jianlong Chang（常建龙）, Tailin Wu（吴泰霖）, Hongzhi Yin（尹洪志）, Siu-Ming Yiu（姚兆明）, Qi Tian（田奇）, Christian S. Jensen
本文聚焦于将生成技术整合到时空数据挖掘中，考虑到时空数据的显著增长和多样性。随着RNN、CNN和其他非生成技术的进步，研究人员已经探索了它们在捕捉时空数据中的时间和空间依赖关系方面的应用。然而，生成技术如大规模语言模型（LLMs）、扩散模型（Diffusion）、自监督学习（SSL）、序列到序列（Seq2Seq）模型和扩散模型的出现，为进一步增强时空数据挖掘开辟了新的可能性。本文对基于生成技术的时空方法进行了全面分析，并引入了一个专门为时空数据挖掘流程设计的标准框架。通过提供详尽的综述和利用生成技术的时空方法的新分类，本文加深了对这一领域中各种技术的理解。此外，本文还强调了未来有前景的研究方向，敦促研究人员深入探索时空数据挖掘。本文强调需要探索尚未开发的机会，推动知识的边界，以解锁新的洞见并提高时空数据挖掘的效果和效率。通过整合生成技术并提供一个标准化的框架，推动了该领域的进步，鼓励研究人员探索生成技术在时空数据挖掘中的巨大潜力。
随着GPS技术和移动设备的显著进步，时空数据的量级大幅增长，涵盖了人类轨迹数据、交通轨迹数据、犯罪数据、气候数据和事件数据等多种类型。这些数据在城市管理、出租车调度优化、人类健康和天气预报等领域具有重要意义。近年来，循环神经网络（RNN）和卷积神经网络（CNN）在捕捉时空数据的时间和空间依赖关系方面取得了巨大成功，促使研究人员进一步探索这些非生成技术在时空数据挖掘中的应用。这些努力已在交通预测和异常轨迹检测等任务中取得了显著进展。
然而，随着大规模语言模型（LLMs）和扩散模型（DMs）等生成技术在计算机视觉和自然语言处理领域的成功，研究人员开始探索这些技术在时空数据挖掘中的潜力。这一新研究方向为时空数据挖掘带来了新的见解，包括零样本预测和跨任务的强泛化能力。生成技术如LLMs、DMs和自监督学习（SSL）在计算机视觉和自然语言处理领域的卓越表现，不仅激发了研究人员的兴趣，还对该领域产生了深远影响。近期的研究提供了将生成技术整合到时空数据挖掘方法中的有利证据，显著提高了性能。这些发现激发了研究人员对生成技术在时空数据挖掘中潜在应用的深入探索，促使该领域涌现出大量基于生成技术的研究成果。
尽管已有许多研究集中于利用生成技术进行时空数据挖掘，但现有综述缺乏对这一领域的全面分析和专门框架。因此，本文旨在提供基于生成技术的时空数据挖掘方法的全面分析，并引入一个标准化的框架。通过详细的综述和创新的分类方法，本文帮助读者深入理解该领域中使用的各种技术。此外，本文还强调了未来的研究方向，鼓励研究人员进一步探索未开发的机会，推动知识边界，以解锁新的洞见，提升时空数据挖掘的效果和效率。
时空数据具有两个显著的挑战，这些挑战同时也是时空数据挖掘算法的机遇。
1. 相关性：时空相关性指的是数据集中不同空间和时间方面之间的相互依赖关系和联系。这些相关性在实际应用中会引发若干问题和复杂性。首先，在预测精度方面，时空相关性会在数据中引入复杂的模式和依赖关系。如果未能准确捕捉和建模这些相关性，会导致预测精度下降，从而削弱预测模型在交通预测、天气预报和疾病爆发分析等领域的效果。其次，在数据预处理和融合方面，时空相关性常常需要将来自多个来源和模式的数据进行整合和融合。将异构数据类型在时空背景下进行对齐是一项挑战，要求细致的数据预处理步骤和融合技术，以确保数据的准确性和一致性。
2. 异质性：时空异质性指的是数据集中空间和时间模式的固有变异性和多样性。不同区域和时间段表现出不同的特征、趋势和关系，这种异质性在数据分析中会引发若干问题，并对时空数据挖掘算法提出挑战。主要问题包括：首先，泛化挑战，时空异质性使得开发能够有效捕捉和表示不同区域和时间段的多样化模式和关系的通用模型和算法变得困难。在一个区域或时间段训练的模型可能无法很好地泛化到其他区域或时间段。其次，偏差和不完整性，时空异质性可能导致数据收集和表示中的偏差和不完整性。数据在区域和时间上的分布可能不均衡，导致数据集不平衡，从而引入偏差并扭曲时空数据挖掘算法的分析和结果。
时空数据结合了空间和时间的元素，可以揭示跨越时空现象的见解，广泛应用于环境监测、交通分析、流行病学、社会科学和城市规划等领域。这些数据通过地理坐标和时间戳表示，便于分析模式、趋势和关系。时空数据可以分为事件数据、轨迹数据、点数据和栅格数据四类。
1. 事件数据：事件数据指的是在特定位置和时间发生的具体事件，例如犯罪数据或投票数据。这些数据通常使用欧几里得坐标系表示，但在道路网络中的事件（如事故），事件之间的距离则由沿路段的最短路径决定。事件数据还可以包括附加变量，如犯罪类型或投票的政党。
2. 轨迹数据：轨迹数据记录了物体随时间移动的空间路径，例如飞行数据和出租车数据。轨迹数据通常通过在移动物体上安装传感器来收集，这些传感器在不同时间间隔记录GPS位置。时间间隔越小，轨迹的精度越高。
3. 点数据：点数据是指从一组移动参考点收集的数据，例如气象气球在大气中收集的数据或传感器测量水体表面温度的数据。每个气象站代表一个特定的位置，定期记录温度读数。点数据可以用于重建任意位置和时间的时空场。
4. 栅格数据：栅格数据中的参考点是静态的，可以在空间上规则或不规则地分布。栅格数据的观测值在固定时间间隔记录，常见的类型包括卫星图像，每个像素对应栅格网格中的一个单元，包含光谱特征信息；数字高程模型（DEM），表示海拔或地形；气候变量，表示温度、降水和风速；以及土地覆盖或土地使用信息，每个单元表示特定位置的土地覆盖类型，如森林、城市区域、水体或农业用地。
在固定时间和地点以及不固定时间和空间的栅格数据示意图
大规模语言模型（LLMs）在自然语言处理和计算机视觉领域表现出色。例如，ST-LLM模型通过将时间步骤作为token处理，从全局视角建模时空依赖关系，显著提升了交通流量预测的准确性。
自监督学习（SSL）通过未标记数据中的替代任务来学习有用的表示。例如，TrajRCL模型利用对比学习技术，显著提升了轨迹数据的表示学习效果。
3. 扩散模型（Diffusion Models）
扩散模型利用正向和逆向过程，模拟时空数据的生成过程。例如，DiffSTG模型将时空图神经网络与不确定性量化特性相结合，提高了预测的准确性和可靠性。
序列到序列模型（Seq2Seq）广泛应用于处理序列数据的任务，如机器翻译和文本摘要。基于Seq2Seq的时空数据挖掘方法，如Trafformer，通过自注意力机制，显著提高了交通流量预测的精度。
我们提出了一种利用生成技术解决时空数据挖掘挑战的方法。首先讨论数据预处理，然后介绍生成技术的适应性。我们还专门设置了一个小节来解决特定的时空数据挖掘问题。为提供结构化概述，我们展示了一个概述流程的框架。
图中展示了利用生成技术进行时空数据挖掘的一般流程。该流程涉及处理从各种位置传感器收集的原始时空数据，包括事件数据、轨迹数据、点参考数据和栅格数据。首先，创建数据实例来存储时空数据，这些实例可以是点、时间序列、空间地图、轨迹或时空栅格。为了在不同的挖掘任务中应用生成技术，时空数据实例需要转换为特定的数据格式，具体取决于所选择的数据表示方式。这些时空数据实例可以表示为序列数据、矩阵、张量或图。最后，选择合适的生成技术来处理各种时空数据挖掘任务，如预测、分类和表示学习等。这些模型利用生成技术的独特能力，从时空数据中提取有价值的见解，并解决复杂的时空数据挖掘挑战。
我们展示了一种全面的分类法，将现有研究基于生成技术分为四大类：大规模语言模型（LLMs）、自监督学习（SSL）、扩散模型（Diffusion）和序列到序列模型（Seq2Seq）。每类技术提供了独特的方法来解决时空分析中的挑战。在每一类中，具体研究针对不同的时空任务，采用特定的生成技术进行研究。这一分类法为理解和组织时空分析领域的多样研究提供了有价值的框架，促进了知识传播和领域的进一步发展。相关研究的应用任务大致可分为时空表示学习、时空预测和时空推荐，如表所示。每个领域都有众多研究专注于发展专门的方法和技术，以应对各自的挑战和需求。通过探索这些领域中的研究广度和深度，研究人员可以深入了解用于解决各种时空分析任务的多样化方法和创新技术，从而推动整个领域的发展。
基于生成技术的现有研究分类，由四种技术组成，包括大规模语言模型（LLMs）、自监督学习（SSL）、扩散模型（Diffusion）和序列到序列（Seq2Seq）模型。这些技术涵盖四种时空任务，每种任务都有基于特定生成技术的具体研究。
在不同应用任务中的相关工作，包括时空表示学习、时空预测和时空推荐。我们提供了详细信息，包括期刊/会议名称、使用的具体生成技术、涉及的特定应用子任务以及用于评估的数据集。
此外，我们探讨了时空数据挖掘未来的研究方向。我们提出了四个潜在方向，并进行了详细描述：基准数据集的偏斜分布、大规模基础模型、时空方法的泛化能力以及与外部知识的结合。
1. 基准数据集的偏斜分布：基准时空数据集中的偏斜分布指数据点在空间和时间维度上的不均衡分布。这意味着某些区域或时间段的数据点数量显著多于或少于其他区域或时间段。这种不均衡可能导致数据集对特定位置或时间段产生偏向，进而影响分析或预测的准确性和可靠性。未来的研究应致力于解决这种分布偏差问题，以确保分析和模型的公平性和准确性。
2. 大规模基础模型：目前，缺乏广泛的高质量多模态数据集限制了大规模基础模型的探索和发展。因此，迫切需要深入研究这些模型，以提升其在下游任务中的表现，特别是在时空预测领域。通过填补这一研究空白，开发和利用大规模基础模型，可以显著提高各种时空预测应用的准确性和有效性。
3. 时空方法的泛化能力：现有的时空分析方法在适应不同任务方面面临挑战，主要是由于其有限的泛化能力。这一限制妨碍了这些方法在各个领域和场景中的有效应用，因为它们难以捕捉不同任务中的复杂性和细微差别。因此，必须探索具有更强泛化能力的新方法，以实现对各种时空分析任务的无缝适应和改进表现。通过解决这一限制我们可以释放时空方法的全部潜力，使研究人员和从业者能够以更灵活和稳健的方式应对多样化的挑战。
4. 与外部知识的结合：随着知识图谱的不断发展，探索将这些图谱中衍生的外部知识整合到时空方法中变得越来越重要。外部知识的引入有望增强时空方法的分析能力，使其能够利用更广泛的背景信息和领域专业知识。通过有效利用这些图谱中的丰富知识，研究人员和从业者可以开辟新的途径，提高时空方法在不同应用和领域中的准确性、稳健性和整体表现。因此，探索促进外部知识与时空方法无缝集成的方法，对于推进时空分析领域具有重要意义。
本文详尽地介绍了生成技术在时空数据挖掘中的应用，提出了一个标准的时空数据挖掘框架，并探讨了未来的研究方向。通过结合生成技术和时空数据挖掘方法，我们能够更好地理解和利用时空数据，提升数据挖掘的效果和效率。希望这篇介绍能够为从事时空数据研究的学者和工程师提供有价值的参考，推动这一领域的持续创新与发展。
现代生活产生了大量的时序数据和时空数据，分析这些数据对于深入理解现实世界系统的复杂性和演化规律至关重要。近期，受到大语言模型（LLM）在通用智能领域的启发，”大模型+时序/时空数据”这个新方向迸发出了许多相关进展。当前的LLM有潜力彻底改变时空数据挖掘方式，从而促进城市、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时空分析智能形式迈进。
集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学（广州）助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人，共同发起以“时序时空大模型”为主题的系列读书会，鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力，共学共研相关文献。读书会从5月8日开始，每周三19:00-21:00（北京时间）进行，预计持续10-12周。
