大模型的能力边界｜周五直播·人工智能与数学读书会

导语

本周是人工智能与数学读书会的第一次分享，将由何杨辉院士和陈小杨研究员主讲。何杨辉院士将介绍人工智能以三种方式接近数学的相关成果；陈小杨研究员将探讨符号回归、强化学习构造反例等在数学研究中的应用,讨论数学与人工智能深度融合的可能性。

为了探索数学与人工智能深度融合的可能性，集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师，共同发起“人工智能与数学”读书会，希望从 AI for Math，Math for AI 两个方面深入探讨人工智能与数学的密切联系。本读书会是“AI+Science”主题读书会的第三季。读书会自9月15日开始，每周五晚20:00-22:00，预计持续时间8～10周。欢迎感兴趣的朋友报名参与！

分享内容简介

本次分享主要介绍使用范畴论刻画大模型的能力边界。首先，我们思考一个有趣的问题：假如我们有无穷多的数据，无穷大的计算能力，无穷大的模型，完美的训练算法与优化保证，那么这个模型是不是可以用来解决所有任务？这个问题不能够被已有的表达能力、优化或者泛化理论回答，因为这些理论研究的对象在这个问题中不存在了。在本次分享中，我们会看到作为现代数学的基本语言，范畴论如何用于回答这一问题。更加一般的，这一结果并不总是需要“无穷多数据”或者“无穷大算力”等极端假设：对于任何现代使用的预训练大模型，它都是成立的。

此次分享主要讲解的文章是：On the power of foundation models. 本文核心贡献是将范畴论的米田引理与预训练任务构建起了联系。

分享内容大纲

范畴论简介：范畴、关系、函子、预层，米田嵌入与米田引理
米田嵌入于预训练模型的关系
三个范畴论定理
监督学习的范畴论框架
理想基础模型的概念
大模型的创造力

主要涉及到的知识概念

大语言模型 Large Language Model

范畴 Category

函子 Functor

预层 Presheaf

米田嵌入 Yoneda Embedding

米田引理 Yoneda Lemma

主讲人介绍

袁洋，清华大学交叉信息学院助理教授。2012年毕业于北京大学计算机系，2018年获得美国康奈尔大学计算机博士学位，师从Robert Kleinberg教授。在博士期间，于2014年-2015年前往微软新英格兰研究院做访问学生，并于2016年秋季前往美国普林斯顿大学做访问学生。2018-2019年前往麻省理工学院大数据科学学院（MIFODS）做博士后。袁洋的主要研究方向是智能医疗、AI基础理论、应用范畴论。

主要涉及到的参考文献

• 预训练大模型的能力边界：Yuan, Yang. “On the Power of Foundation Models.” Proceedings of the 40th International Conference on Machine Learning. Ed. Andreas, Krause, et al.s.: PMLR, 2023. 推荐语：本文使用范畴论，对预训练大模型的能力边界进行了理论刻画。

参看文章：《大模型的能力边界在哪里？来自范畴论视角的答案》

 • Kashiwara, Masaki, and Pierre Schapira. Categories and Sheaves. Springer Berlin, Heidelberg, 2006. 推荐语：范畴论教科书，难度较大。

 • Riehl, Emily. Category Theory in Context. Courier Dover Publications, 2017. Print. 推荐语：范畴论教科书，比较适合初学者。

 • Radford, Alec, et al. “Improving Language Understanding by Generative Pre-Training.”  (2018). 推荐语：预测下一个词的GPT算法。

 • Chen, Ting, et al. “A simple framework for contrastive learning of visual representations.” International conference on machine learning. PMLR, 2020. 推荐语：预测相似图对的SimCLR算法，对于图像分类任务非常有效。 

• He, Kaiming, et al. “Masked autoencoders are scalable vision learners.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022. 推荐语：基于遮挡预测的MAE算法，在各类图像下游任务中都有很好的表现。

• Gidaris, Spyros, Praveer Singh, and Nikos Komodakis. “Unsupervised Representation Learning by Predicting Image Rotations.” arXiv preprint arXiv:1803.07728 (2018). 推荐语：基于旋转预测的算法，是非常简单而且早期的预训练算法。

本次分享与读书会主题之间的关系

• 与读书会之间的关系：范畴论为构建更抽象、通用的模型框架提供基础，帮助我们从更宏观的角度理解网络结构和操作。对比学习借助数学的距离度量和相似性概念，使模型能更准确地捕捉数据的关系。控制理论为优化算法提供指导，从微分方程到最优控制方法，有助于在参数空间中寻找最佳解。这些数学概念在大模型与神经网络的设计、训练和优化中发挥着不可或缺的作用，推动了人工智能领域的前沿研究和应用。

• 与复杂系统之间的关系：

与已有的机器学习理论不同，大模型基础理论并不关注具体的优化算法或其泛化表现，而尝试分析模型训练的理想目标是什么。通过分析理想情况得到的理论虽然简单抽象，但却能描绘各种模型各种数据下的共性，进而帮助人们设计出更好的算法，或者对模型表现有更深刻的理解。这和物理学的思维方式非常类似：物理学家会考虑在真空中或者无摩擦的情况下的事物与现象，哪怕这些假设在现实中并不完美成立。对于复杂科学来说，这个思路也应该是一个很好的切入口。

直播信息

时间：

2023年9月22日（本周五）晚上20:00-22:00

参与方式：

扫码参与人工智能与数学读书会，加入群聊，获取系列读书会回看权限，成为AI+Science社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动AI+Science社区的发展。

人工智能与数学读书会启动

人工智能与数学读书会主要围绕AI　for　math，math　for　AI两个方面深入探讨人工智能与数学的密切联系。首先，我们将概述人工智能在数学的应用，并深入探讨大模型与数学推理，定理自动证明， AI发现数学规律，符号计算等方向的研究工作。随后，我们将转向大模型与神经网络的数学基础。最后，我们将深入探讨几何与拓扑在机器学习的应用。人工智能与数学读书会自2023年9月15日开始，每周五晚上20:00-22:00举办，持续时间预计 8 周。欢迎对本话题感兴趣的朋友报名参加！