导语


构建鲁棒性强的表征模型可以有效地为轨迹大模型和基座模型奠定基础。此次「时序时空大模型读书会」第七期将由发起人——澳大利亚新南威尔士大学计算机学院讲师薛昊，邀请到墨尔本大学博士后研究员常晏川、新南威尔士大学博士生李立桓、中国科学院计算技术研究所硕士生陈文杰围绕“轨迹大模型：轨迹数据表征学习”主题直播分享。

直播将于北京时间7月3日晚19:00-21:00线上公开进行，欢迎感兴趣的朋友参与讨论交流！

研究领域：轨迹数据、表征学习、基座模型、深度学习、TrajCL、JEPA、TrajDPM




分享内容简介




本期读书会作为「时序时空大模型读书会」系列读书会的第七期直播分享，邀请到墨尔本大学博士后研究员常晏川、新南威尔士大学博士生李立桓、中国科学院计算技术研究所硕士生陈文杰围绕“轨迹数据表征学习”主题进行分享。主要涵盖各个课题组在该方向的最新研究工作，包括基于深度学习方法的轨迹相似性学习、探索JEPA在轨迹表征中的应用、轨迹表征学习与非参聚类，以及共同讨论轨迹大模型方向未来比较重要的方向、难点、以及潜在的解决思路。




分享内容大纲



 

（一）常晏川：基于深度学习方法的轨迹相似性学习

  • Part 1：问题定义及研究动机

  • Part 2：基于对比学习的深度学习方法 – TrajCL

  • Part 3：方向思考和展望


（二）李立桓：探索JEPA在轨迹表征中的应用

  • Part 1: 基于自监督学习的轨迹相似度匹配

  • Part 2: 联合嵌入预测架构（JEPA）介绍

  • Part 3: 用于轨迹相似度计算的联合嵌入预测架构 – T-JEPA


（三）陈文杰：轨迹表征学习与非参聚类

  • Part1: 轨迹非参聚类背景概览

  • Part2: 轨迹非参聚类模型 – TrajDPM





核心概念



 

  • 基座模型 Foundation Model

  • 深度学习 Deep Learning

  • 轨迹相似性 Trajectory Similarity

  • 轨迹查询 Trajectory query

  • 轨迹相似度计算 Trajectory Similarity Calculation

  • 自监督学习 Self-supervised Learning

  • 联合嵌入预测架构 Joint Embedding Prediction Architecture

  • 表征学习 Representative Learning

  • 非参聚类 Non-parametric Clustering

  • 狄利克雷高斯混合模型 Dirichlet Gaussian Mixture Model





分享人介绍




（1）主讲人：常晏川

常晏川，墨尔本大学博士后研究员，研究方向主要为时空数据挖掘，空间数据索引和查询。

（2）主讲人：李立桓

李立桓，澳大利亚新南威尔士大学博士生，研究方向为轨迹表征学习，计算机视觉，时空数据建模。

（3）主讲人：陈文杰

陈文杰，中国科学院计算技术研究所硕士研究生，从事时间序列挖掘，因果机器学习相关的工作。

（4）主持人：薛昊

薛昊，澳大利亚新南威尔士大学（UNSW Sydney）计算机科学与工程学院担任讲师职位。他于2020年从西澳大利亚大学获得博士学位。在完成博士学位后，曾在RMIT大学计算技术学院和UNSW Sydney工作过。目前是澳大利亚国家科研委员会（ARC）卓越决策与社会自动化中心（ADM+S）UNSW分支的副研究员。研究兴趣包括时空数据建模、时间序列预测、基于语言生成的预测以及时间序列表示学习。




本期主要参考文献



 

  1. Li, L., Xue, H., Song, Y. and Salim, F., 2024. T-JEPA: A Joint-Embedding Predictive Architecture for Trajectory Similarity Computation. arXiv preprint arXiv:2406.12913.
  2. Chang, Y., Qi, J., Liang, Y. and Tanin, E., 2023, April. Contrastive trajectory similarity learning with dual-feature attention. In 2023 IEEE 39th International conference on data engineering (ICDE) (pp. 2933-2945). IEEE.
  3. Li, X., Zhao, K., Cong, G., Jensen, C.S. and Wei, W., 2018, April. Deep representation learning for trajectory similarity computation. In 2018 IEEE 34th international conference on data engineering (ICDE) (pp. 617-628). IEEE.
  4. Assran, M., Duval, Q., Misra, I., Bojanowski, P., Vincent, P., Rabbat, M., LeCun, Y. and Ballas, N., 2023. Self-supervised learning from images with a joint-embedding predictive architecture. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 15619-15629).
  5. Chang, Y., Tanin, E., Cong, G., Jensen, C. S., & Qi, J. (2023). Trajectory Similarity Measurement: An Efficiency Perspective. arXiv preprint arXiv:2311.00960.
  6. Chen, W., Liang, Y., Zhu, Y., Chang, Y., Luo, K., Wen, H., … & Zheng, Y. (2024). Deep learning for trajectory data management and mining: A survey and beyond. arXiv preprint arXiv:2403.14151.
  7. LeCun, Y., 2022. A path towards autonomous machine intelligence version 0.9. 2, 2022-06-27. Open Review, 62(1), pp.1-62.
  8. Yao D., Cong G., Zhang C., et al. Computing Trajectory Similarity in Linear Time: A Generic Seed-Guided Neural Metric Learning Approach. 2019 IEEE 35th International Conference on Data Engineering (ICDE, 2019: 1358–1369）
  9. Zhang H., Zhang X., Jiang Q., et al. Trajectory similarity learning with auxiliary supervision and optimal matching. https://dl.acm.org/doi/10.5555/3491440.3491884
  10. Fang Z., et al. E2DTC：An End to End Deep Trajectory Clustering Framework via Self-Training. https://ieeexplore.ieee.org/document/9458936
  11. Chang J., Parallel sampling of DP mixture models using sub-clusters splits. https://dl.acm.org/doi/10.5555/2999611.2999681

  12. Meitar Ronen; Shahaf E. Finder; Oren Freifeld. DeepDPM: Deep Clustering With an Unknown Number of Clusters. https://ieeexplore.ieee.org/document/9879746


读书会阅读材料较多，为了更好地阅读体验，可扫描下方二维码进入集智斑图页面，阅读并收藏感兴趣的论文。
https://pattern.swarma.org/article/293




直播信息




时间：
2024年7月3日（周三）晚上19:00-21:00（北京时间）
参与方式：

1、集智俱乐部 B 站免费直播，扫码可预约。

2、本期读书会公开进行，扫码即可直接获取读书会回看权限。欢迎感兴趣的朋友报名新一季时序时空大模型读书会，加入群聊，获取系列读书会回看权限，成为“Time-LLMs”社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动社区的发展。

斑图地址：https://pattern.swarma.org/study_group_issue/707



报名成为主讲人：
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：时序时空大模型读书会启动：大模型开启时序时空数据挖掘新视角



时序时空大模型读书会招募中


现代生活产生了大量的时序数据和时空数据，分析这些数据对于深入理解现实世界系统的复杂性和演化规律至关重要。近期，受到大语言模型（LLM）在通用智能领域的启发，”大模型+时序/时空数据”这个新方向迸发出了许多相关进展。当前的LLM有潜力彻底改变时空数据挖掘方式，从而促进城市、交通、遥感等典型复杂系统的决策高效制定，并朝着更普遍的时空分析智能形式迈进。

集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学（广州）助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人，共同发起以“时序时空大模型”为主题的系列读书会，鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力，共学共研相关文献。读书会第一期分享从5月8日（周三）19:00 公开直播，后续分享时间为每周三19:00-21:00（北京时间）进行，预计持续10-12周。欢迎感兴趣的朋友报名参与！


详情请见：
时序时空大模型读书会启动：大模型开启时序时空数据挖掘新视角


点击“阅读原文”，报名读书会