摘要


智能手机和基于位置的社交网络的广泛应用导致了海量时空数据的涌入，为改进兴趣点 (POI) 推荐系统创造了前所未有的机遇。这些先进的 POI 系统对于丰富用户体验、实现个性化互动以及优化数字环境中的决策过程至关重要。然而，现有的综述往往侧重于传统方法，很少深入探讨 POI 推荐领域的尖端发展、新兴架构以及安全问题。为了弥补这一差距，这篇综述通过提供对 POI 推荐系统全面且最新的回顾脱颖而出，涵盖了模型、架构和安全方面的进步。我们系统地考察了从传统模型到先进技术（例如大型语言模型）的转变。此外，我们还探讨了从集中式到分散式和联邦学习系统的架构演变，突出了可扩展性和隐私方面的改进。此外，我们还探讨了安全日益增长的重要性，研究了潜在的漏洞和隐私保护方法。我们的分类法提供了对当前 POI 推荐现状的结构化概述，同时我们也指出了这一快速发展领域未来研究的有前景的方向。

研究领域：时空数据，大语言模型，社交网络，数据安全，POI 推荐


张倩茹， 杨鹏，余俊良，汪海昕，贺兴伟，姚兆明，阴红志  | 作者




论文题目

A Survey on Point-of-Interest Recommendation: Models, Architectures, and Security

论文链接：

https://arxiv.org/pdf/2410.02191





研究背景




智能设备的激增推动了基于位置的社交网络（LBSNs）的快速发展[1-3]，用户可以在这些网络上分享与特定地点相关的签到、评论和个人体验。这些网络目前拥有数十亿用户，产生了海量的时空数据[4-11]，为个性化兴趣点（POI）推荐提供了宝贵的机会。作为推荐系统中的一个动态领域，POI 推荐近年来受到了用户和企业的广泛关注。这些方法利用用户的历史签到以及多模态数据来推荐个性化目的地[12]。然而，数据规模、模态和用户期望的多样性带来了新的挑战。这些复杂性促使研究人员开发创新的技术，有效地捕捉移动模式和其他相关特征，例如空间、社交和文本信息，以提高 POI 推荐的性能[13-15]。


POI 推荐研究在过去十年中取得了显著进展，研究人员不断在三个维度上突破界限：模型、架构和安全。


模型演变：从传统到先进。在早期阶段，POI 推荐系统主要依赖于潜在因子模型，如潜在狄利克雷分配 (LDA)[16] 和矩阵分解 (MF)[17] 来模拟动态用户行为[18,19]。虽然这些方法提供了初步的解决方案，但它们在捕捉用户-POI 交互的复杂模式方面受到限制。深度学习的出现标志着一次变革性的转变，长短期记忆 (LSTM) 网络[20] 和 Transformer 架构[21] 等模型被证明更能够捕捉全局特征和用户行为的动态序列。伴随着深度学习革命，图神经网络 (GNN) 的探索被证明特别适合于学习 POI 推荐中的表示[22-24]。GNN 擅长捕捉用户和 POI 之间的复杂依赖关系，从而实现更细致的推荐。最近，该领域随着尖端技术的整合而取得了快速发展，例如大型语言模型 (LLM)[25]、扩散模型 (DM)[26,27] 和自监督学习 (SSL)[28]。这些创新显著提高了推荐精度，使系统能够更好地模拟用户偏好。


架构转变：从集中式到分散式及其他。最初，POI 推荐系统主要是在服务器端[29,30]，依靠集中式处理来管理数据和训练模型。然而，这种集中式方法很快面临挑战，尤其是在可扩展性和延迟方面，因为对实时推荐日益增长的需求给系统性能带来了压力。为了解决这些问题，边缘计算的采用应运而生，将计算转移到更靠近用户设备的地方。这种转变通过减少对云基础设施的依赖，提高了响应速度和实时能力。在此基础上，联邦学习[31] 的最新进展引入了一种分散的模型训练方法。通过在多个设备上分配训练，联邦学习不仅提高了系统的可扩展性，而且通过将用户数据保存在本地并降低集中式数据处理的风险，提供了更强的隐私保护。


安全增强：从脆弱到健壮和隐私保护。与这些架构改进并行的是，POI 推荐系统最初表现出明显的隐私和安全漏洞，因为早期设计容易受到数据泄露和利用[32-34]。随着这些漏洞的暴露，研究人员开始专注于开发更安全的解决方案。随着时间的推移，引入了各种隐私保护技术来保护敏感的用户数据。差分隐私[35] 和联邦学习[31] 等方法已成为现代 POI 推荐系统的核心，确保在保护用户数据的同时，保持推荐的准确性和相关性。这些技术将格局转向更强大的系统，能够在安全性和性能之间取得平衡。


虽然现有的综述[36-39] 为 POI 推荐系统提供了宝贵的见解，但仍然迫切需要一篇全面的综述来反映 POI 模型、架构和安全方面的快速发展。例如，虽然 Zhao 等人[39] 对使用矩阵分解等传统技术的 POI 推荐进行了全面的回顾，但深度 POI 推荐系统中日益增长的挑战并未涵盖。相比之下，Wang 等人[36] 对深度学习时代各种 POI 推荐方法进行了概述，但他们并没有深入探讨随着分散式系统兴起而出现的架构和安全挑战以及实际的隐私问题。同样，Islam 的综述[37] 强调了深度学习对 POI 推荐的影响，但它忽略了联邦学习和边缘计算的关键进展，而这些进展正日益影响着这些系统的部署。此外，Werneck 的综述[38] 详细介绍了 2017 年至 2019 年的 POI 推荐技术，为当时方法的演变提供了宝贵的见解，但它缺乏对 GNN 和 LLM 等最新进展的报道，这些进展不仅带来了强大的用户建模能力，而且带来了密集计算和可扩展性问题。总而言之，文献中关于尖端模型、架构演变和安全问题的明显差距如表 1 所示。



随着数据来源日益多样化，新型模型和架构的兴起，以及对隐私保护技术的日益需求，提供一份涵盖这些关键方面的最新、全面的综述至关重要。本文通过提供深入的分类法，我们旨在不仅提供对 POI 推荐的整体理解，而且为未来的研究工作奠定基础。我们的贡献总结如下：
  • 我们对 POI 推荐系统中的模型、架构和安全方面进行了详尽而现代化的评估，深入了解了各种方法和技术。
  • 我们不仅对现有模型、架构和安全方面的研究进行了分类，而且还引入了一个新的框架来理解和构建这些基本要素。
  • 我们的研究强调了 POI 推荐未来研究的几个有前景的领域，指出了可以进一步探索的关键主题，鼓励创新，并激励研究人员探索可能塑造 POI 推荐技术未来的新的、未开发的领域。





Taxonomy




本文区别于现有 POI 推荐综述之处在于，它采用了一种强调三个关键且相互关联的方面——模型、架构和安全——的整体方法。如图 figure2 所示，这一三方框架作为一种全面的分类法，用于系统地分析和比较各种 POI 推荐系统。为了进一步阐明研究现状，我们在figure 1 (a) 中展示了现有研究在这三个类别中的分布。该图强调了一个明显的趋势：改进 POI 推荐模型的方法主导了该领域，占总研究工作的 75% 以上。这一重点反映了在 POI 推荐中提高准确性、个性化和上下文感知的持续挑战。另一方面，针对 POI 推荐中安全问题的研究仍然代表性不足，约占现有研究的 8%。鉴于保护用户隐私、防御对抗性攻击以及确保基于位置的服务中的数据完整性日益重要，这突出了文献中的一个重大差距。相比之下，关于架构的研究（弥合了模型和实际部署之间的差距）占据了剩余部分，表明其在确保 POI 推荐的可扩展性、效率和响应能力方面至关重要，但却经常被忽视。在本节的其余部分，我们将沿着这三个维度展开分类法的介绍。





方法




本节对与我们的综述相关的模型进行了初步概述, 我们把不同的方法分为4类:Latent Factor Models (LFMs), Classic Neural Networks (NNs), Self-Supervised Learning (SSL), and Generative Models (Gen-Models) 。我们还在table 3中按发表期刊、技术、子任务和数据集对研究进行了回顾。我们还对4种不同的方法的有效性，效率， scalability和结果的可解释方面做了讨论，如table 2。






架构




在本节中，我们将举例说明，包括基于集中式、基于分散式和基于联邦学习的架构。分别如下图所展示：




安全




在本节中，我们将举例说明安全问题，包括 POI 推荐系统中的数据完整性威胁和用户隐私保护。部分如下图所示：






未来的方向




随着POI推荐系统不断发展，在模型、架构和安全三个关键维度上，大量的创新机会将持续涌现。通过整合尖端的模型结构，采用灵活的架构，并加强安全措施，POI推荐系统的未来有望更加适应性强、个性化，并能够应对新兴挑战。下面，我们将概述将在这些关键方面塑造这些系统发展的关键未来方向。


未来的POI推荐模型将超越传统的深度学习技术，融合各种数据模式和更先进的方法，以进一步提高准确性和个性化。(1) 大型语言模型 (LLM) 代理驱动的POI推荐。将大型语言模型 (LLM) 代理 [xi2023rise] 集成到POI推荐系统中，为增强个性化POI推荐提供了另一种方法。LLM代理可以通过自然语言交互来解读用户偏好，根据对话式查询和反馈 [liu2024semantic,ning2024cheatagent] 进行实时POI推荐。这些代理可以通过与用户进行对话来明确需求并生成定制化推荐，从而提供个性化的POI建议。通过结合位置、时间和用户特定约束等上下文因素，LLM驱动的POI推荐系统可以提供动态的、上下文感知的建议。(2) LLM驱动的可解释POI推荐。通过大型语言模型创建可解释的POI推荐系统，是利用先进的语言处理能力提供透明且易于理解的POI推荐的一个有前景的途径。通过利用这些模型，用户可以获得附带解释的推荐，这些解释阐明了为什么建议某个特定的POI。这种透明度通过阐明每个推荐背后的决策过程，增强了用户信任度和参与度，最终改善了POI推荐的整体用户体验。


未来的POI推荐架构是为了确保去中心化系统能够提供与其中心化对应系统相同水平的个性化和准确性，同时保持去中心化架构提供的隐私优势。小型语言模型驱动的去中心化POI推荐。虽然主流关注点是开发大型语言模型，但小型语言模型也因其效率和在设备上运行的能力而受到关注，提供了保护隐私和实时的能力。新发布的Llama 3.2的轻量级语言模型(1B和3B)[脚注：url{https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/}]可以彻底改变边缘AI，并通过直接在设备上处理实时上下文数据，显著提高去中心化POI推荐系统的准确性。这些模型可以通过使用长上下文（最多128K个token）在本地学习用户的交互、偏好和位置数据，从而实现高度个性化的推荐，而无需集中式数据聚合。通过在设备上运行，模型可以持续适应用户行为，从而根据即时上下文提供更精确的推荐，同时保护隐私。新模型和架构的出现带来了新的机遇，也因此扩大了潜在威胁的范围。未来的POI推荐系统需要处理新的安全问题。(1) 解决新兴POI推荐系统中的漏洞。随着多模态数据注入、自监督学习和基于LLM的推荐系统等新技术的普及，它们带来了新的复杂性和新的漏洞。POI推荐的安全格局系统需要关注这些新兴攻击面的理解，因为它们与传统技术有很大不同。未来的研究应优先考虑识别和减轻这些先进技术特有的漏洞，例如多模态输入中的对抗性操纵或利用基于LLM系统中上下文驱动的弱点。通过开发针对这些创新方法的强大安全框架，未来的POI推荐系统可以防范已知和未知的威胁，确保这些技术发展过程中的信任和可靠性。(2) 基于密码技术的隐私增强型POI推荐。为POI推荐系统开发隐私增强技术对于在维护推荐质量的同时保护用户数据至关重要。这包括实施安全多方计算和零知识证明等方法，确保用户交互和偏好保密。通过保护敏感信息，这些技术可以增强用户信任，并鼓励更广泛地采用推荐系统，从而在隐私保护与系统性能之间取得平衡，并确保隐私增强型模型不会影响推荐的准确性和相关性。


通过采用这些不同的研究方向，并利用尖端技术和方法，POI推荐领域有望彻底改变用户在数字环境中发现和参与兴趣点的方式。



时序时空大模型读书会


现代生活产生了大量的时序数据和时空数据，分析这些数据对于深入理解现实世界系统的复杂性和演化规律至关重要。近期，受到大语言模型（LLM）在通用智能领域的启发，”大模型+时序/时空数据”这个新方向迸发出了许多相关进展。当前的LLM有潜力彻底改变时空数据挖掘方式，从而促进城市、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时空分析智能形式迈进。
集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学（广州）助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人，共同发起以“时序时空大模型”为主题的系列读书会，鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力，共学共研相关文献。读书会从5月8日开始，每周三19:00-21:00（北京时间）进行，预计持续10-12周。
详情请见：时序时空大模型读书会启动：大模型开启时序时空数据挖掘新视角



推荐阅读
1. 时序时空大模型前沿综述：面向时间序列和时空数据的大模型
2. AI何以涌现：复杂适应系统视角的ChatGPT和大语言模型 
3. 一文解析：生成技术在时空数据挖掘中的应用
4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5. 龙年大运起，学习正当时！解锁集智全站内容，开启新年学习计划

6. 加入集智，一起复杂！



点击“阅读原文”，报名读书会