导语


LLM具有强大的学习能力和表示能力,能够有效地捕捉时间序列数据中的复杂模式和长期依赖关系。此次「时序时空大模型读书会」第二期将由发起人——中国科学院计算技术研究所副研究员的姚迪老师主持,邀请到了Salesforce AI实验室首席应用科学家刘成昊老师、中科院计算所的特别研究助理邵泽志博士围绕 “多元时间序列预测大模型” 主题直播分享。

直播将于北京时间5月22日晚19:00-21:00线上公开进行,欢迎感兴趣的朋友参与讨论交流!
关键词:#时间序列预测 #大模型 #预训练模型 #基座模型 #Moirai




分享内容简介




本期读书会作为时序时空大模型读书会系列读书会的第二期直播分享,邀请到了Salesforce AI实验室首席应用科学家刘成昊老师、中科院计算所的特别研究助理邵泽志博士围绕“多元时间序列预测大模型”主题进行分享。主要涵盖刘成昊老师课题组最新的研究工作”Moirai时间序列预测大模型”、邵泽志博士针对多元时序预测进行研究思路与核心挑战分享,以及共同讨论时间序列大模型方向未来比较重要的方向、难点、以及潜在的解决思路。





分享内容大纲




(一)刘成昊:Moirai时间序列预测大模型
  • Part1:课题组最新的研究工作——Moirai时间序列预测大模型
  • Part2:讨论时间序列大模型方向未来比较重要的方向、难点、以及潜在的解决思路

分享资源:

1.代码: https://github.com/SalesforceAIResearch/uni2ts

2.预训练数据集: https://huggingface.co/datasets/Salesforce/lotsa_data

3.论文: https://arxiv.org/abs/2402.02592

4.博客: http://blog.salesforceairesearch.com/moirai/

5.模型: https://t.co/sj5RnOUnEx


(二)邵泽志:大模型时代的多元时序预测
  • Part 1: 多元时序预测背景与定义
  • Part 2: 典型研究思路与核心挑战
  • Part 3: 几种新方法与新思路
  • Part 4: 大模型时代:开启新篇章
    1. 大模型时代的特点
    2. 典型时序大模型简介





核心概念



 

  • 大语言模型 Large Language Model
  • 基座模型 Foundation Model
  • 预训练模型 Pre-trained Models
  • 多元时间序列预测 Multivariate Time Series Forecasting





分享人介绍




(1)主讲人:刘成昊

刘成昊,Salesforce AI实验室首席应用科学家,从事时间序列预测、异常检测和因果机器学习方面的工作。


(2)主讲人:邵泽志

邵泽志,于2024年在中科院计算所博士毕业,并成为中科院计算所的特别研究助理。他的研究方向包括多元时间序列预测、时空数据挖掘、图神经网络等。他曾在 SIGKDD、VLDB、TKDE、CIKM等学术会议、期刊发表论文十余篇。


(3)主持人:姚迪

姚迪,中国科学院计算技术研究所副研究员,硕士生导师,中国计算机学会高级会员,ACM SIGSPATIAL中国分会执行委员,主要研究方向为时空数据挖掘,异常检测,因果机器学习等。在KDD、WWW、ICDE、TKDE等领域内顶级学术会议和期刊发表论文30余篇,长期担任担任多个期刊会议的审稿人和程序委员会委员,获得中科院院长优秀奖,MDM最佳论文候选奖,入选微软亚洲研究院“铸星计划”,研究成果在阿里、网易、滴滴等多个互联网公司中应用。





本期主要参考文献



 
[1] Gerald Woo, Chenghao Liu, Akshat Kumar, et al. Unified Training of Universal Time Series Forecasting Transformers[J]. arXiv:2402.02592, 2024
[2] Shao Z, Zhang Z, Wang F, et al. Pre-training enhanced spatial-temporal graph neural network for multivariate time series forecasting[C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 1567-1577.
[3] Shao Z, Zhang Z, Wang F, et al. Spatial-temporal identity: A simple yet effective baseline for multivariate time series forecasting[C]//Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022: 4454-4458.
[4] Shao Z, Wang F, Xu Y, et al. Exploring progress in multivariate time series forecasting: Comprehensive benchmarking and heterogeneity analysis[J]. arXiv preprint arXiv:2310.06119, 2023.
[5] Garza A, Mergenthaler-Canseco M. TimeGPT-1[J]. arXiv preprint arXiv:2310.03589, 2023.
[6] Rasul K, Ashok A, Williams A R, et al. Lag-Llama: Towards Foundation Models for Time Series Forecasting[J]. arXiv preprint arXiv:2310.08278, 2023.
[7] Woo G, Liu C, Kumar A, et al. Unified training of universal time series forecasting transformers[J]. arXiv preprint arXiv:2402.02592, 2024.
[8] Goswami M, Szafer K, Choudhry A, et al. MOMENT: A Family of Open Time-series Foundation Models[J]. arXiv preprint arXiv:2402.03885, 2024.
[9] Gao S, Koker T, Queen O, et al. UniTS: Building a Unified Time Series Model[J]. arXiv preprint arXiv:2403.00131, 2024.
[10] Ansari A F, Stella L, Turkmen C, et al. Chronos: Learning the language of time series[J]. arXiv preprint arXiv:2403.07815, 2024.
[11] Gerald Woo, Chenghao Liu, et al.  Unified Training of Universal Time Series Forecasting Transformers[J].


读书会阅读材料较多,为了更好地阅读体验,可扫描下方二维码进入集智斑图页面,阅读并收藏感兴趣的论文。

https://pattern.swarma.org/article/293





直播信息




时间:
2024年5月22日(周三)晚上19:00-21:00(北京时间)
参与方式:

1、集智俱乐部 B 站免费直播,扫码可预约。

2、本期读书会公开进行,扫码即可直接获取读书会回看权限。欢迎感兴趣的朋友报名新一季时序时空大模型读书会,加入群聊,获取系列读书会回看权限,成为“Time-LLMs”社区的种子用户,与社区的一线科研工作者与企业实践者沟通交流,共同推动社区的发展。
斑图地址:https://pattern.swarma.org/study_group_issue/679

报名成为主讲人:
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员,均遵循内容共创共享机制,可以获得报名费退款,并共享本读书会产生的所有内容资源。具体见系列读书会详情:时序时空大模型读书会启动:大模型开启时序时空数据挖掘新视角


时序时空大模型读书会招募中


现代生活产生了大量的时序数据和时空数据,分析这些数据对于深入理解现实世界系统的复杂性和演化规律至关重要。近期,受到大语言模型(LLM)在通用智能领域的启发,”大模型+时序/时空数据”这个新方向迸发出了许多相关进展。当前的LLM有潜力彻底改变时空数据挖掘方式,从而促进城市、交通、遥感等典型复杂系统的决策高效制定,并朝着更普遍的时空分析智能形式迈进。

集智俱乐部联合美国佐治亚理工学院博士&松鼠AI首席科学家文青松、香港科技大学(广州)助理教授梁宇轩、中国科学院计算技术研究所副研究员姚迪、澳大利亚新南威尔士大学讲师薛昊、莫纳什大学博士生金明等五位发起人,共同发起以“时序时空大模型”为主题的系列读书会,鼓励研究人员和实践者认识到LLM在推进时序及时空数据挖掘方面的潜力,共学共研相关文献。读书会第一期分享从5月8日(周三)19:00 公开直播,后续分享时间为每周三19:00-21:00(北京时间)进行,预计持续10-12周。欢迎感兴趣的朋友报名参与!


详情请见:
时序时空大模型读书会启动:大模型开启时序时空数据挖掘新视角


点击“阅读原文”,报名读书会