一作解读：数学语言模型综述——200余篇工作启示未来研究方向｜周五直播·人工智能与数学读书会

导语

为了探索数学与人工智能深度融合的可能性，集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师，共同发起“人工智能与数学”读书会，希望从 AI for Math，Math for AI 两个方面深入探讨人工智能与数学的密切联系。本读书会是“AI+Science”主题读书会的第三季。读书会自9月15日开始，每周五晚20:00-22:00，预计持续时间8～10周。欢迎感兴趣的朋友报名参与！

分享内容简介

近年，随着ChatGPT掀起的人工智能浪潮，让我们看到大模型在认知和推理上存在巨大的潜力，以及其在数学相关任务上带来的新机遇。为了解答这些疑问，我们在本综述中对已有的200余篇数学语言模型相关工作进行了分类、归纳和总结，并探讨了未来的发展方向。我们期望这项工作能帮助读者快速掌握语言模型在解决数学问题中的作用机制，并启发对提升语言模型数学能力的进一步思考。

围绕3个问题展开分享：现有的数学任务有哪些？现有方法怎么解决这些数学任务？未来数学模型研究方向？首先，探讨两大数学任务，包括基础数学计算任务和复杂的数学推理任务。然后，将现有相关方法分为基于预训练语言模型（Pre-trained Language Models, PLMs)的方法和基于大语言模型（Large Language Models, LLMs)两种方法进行介绍。接着，对现有的60+数据集从语言、任务和使用类别展开介绍。最后，从数据集、多模态融合、模型不确定性、模型评估、数学创造性以及教学应用等多个角度分析了数学语言模型面临的挑战以及未来潜在的发展方向。

论文题目：

Mathematical Language Models: A Survey

论文地址：

https://arxiv.org/abs/2312.07622

分享内容大纲

工作背景介绍
现有的数学任务有哪些？
现有方法怎么解决这些数学任务？
有哪些数学数据集？
未来数学模型研究方向？

主要涉及到的知识概念

数学任务
预训练模型
大语言模型
指令学习
工具驱动
思维链

主讲人介绍

刘文涛，华东师范大学的博士生，导师为周爱民教授。研究方向为大语言模型中工具使用、多模态学习等。

个人博客：https://liuwentao.blog.csdn.net

主要涉及到的参考文献

[1] Xu C, Sun Q, Zheng K, et al. WizardLM: Empowering Large Language Models to Follow Complex Instructions[M/OL]. arXiv, 2023[2023-09-29]. http://arxiv.org/abs/2304.12244.

[2] Liu T, Low B K H. Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks[M/OL]. arXiv, 2023[2023-06-08]. http://arxiv.org/abs/2305.14201.

[3] Nye M, Andreassen A J, Gur-Ari G, et al. Show Your Work: Scratchpads for Intermediate Computation with Language Models[M/OL]. arXiv, 2021[2023-09-29]. http://arxiv.org/abs/2112.00114.

[4] Yang Z, Ding M, Lv Q, et al. GPT Can Solve Mathematical Problems Without a Calculator[M/OL]. arXiv, 2023[2023-09-22]. http://arxiv.org/abs/2309.03241.

[5] Schick T, Dwivedi-Yu J, Dessì R, et al. Toolformer: Language Models Can Teach Themselves to Use Tools[M/OL]. arXiv, 2023[2023-07-15]. http://arxiv.org/abs/2302.04761.

[6] Gao L, Madaan A, Zhou S, et al. PAL: Program-aided Language Models[M/OL]. arXiv, 2023[2023-09-29]. http://arxiv.org/abs/2211.10435.

[7] Lightman H, Kosaraju V, Burda Y, et al. Let’s Verify Step by Step[M/OL]. arXiv, 2023[2023-09-16]. http://arxiv.org/abs/2305.20050.

[8] Yao S, Yu D, Zhao J, et al. Tree of Thoughts: Deliberate Problem Solving with Large Language Models[M/OL]. arXiv, 2023[2023-09-30]. http://arxiv.org/abs/2305.10601.

[9] Besta M, Blach N, Kubicek A, et al. Graph of Thoughts: Solving Elaborate Problems with Large Language Models[M/OL]. arXiv, 2023[2023-09-03]. http://arxiv.org/abs/2308.09687.

[10] Zhou D, Schärli N, Hou L, et al. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models[M/OL]. arXiv, 2023[2023-09-29]. http://arxiv.org/abs/2205.10625.

直播信息

时间：

2024年2月23日（本周五）晚上20:00-23:00

参与方式：

扫码参与人工智能与数学读书会，加入群聊，获取系列读书会回看权限，成为AI+Science社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。

人工智能与数学读书会启动

人工智能与数学读书会主要围绕AI　for　math，math　for　AI两个方面深入探讨人工智能与数学的密切联系。首先，我们将概述人工智能在数学的应用，并深入探讨大模型与数学推理，定理自动证明， AI发现数学规律，符号计算等方向的研究工作。随后，我们将转向大模型与神经网络的数学基础。最后，我们将深入探讨几何与拓扑在机器学习的应用。人工智能与数学读书会自2023年9月15日开始，每周五晚上20:00-22:00举办，持续时间预计 8 周。欢迎对本话题感兴趣的朋友报名参加！