导语


ChatGPT 的横空出世是一个大事件，可能引发一场新的科技革命浪潮，甚至被认为是人类语言出现以来最深刻的变革。为什么大模型如此备受关注甚至引发焦虑？我们该如何理解这场 AI 革命的深刻意义？人类历史上的农业、工业革命，是能量利用层面的革命，而人工智能则是信息层面的革命。信息动力学（information dynamics），即信息的传播和演化过程，是理解这一变革的关键视角。

本次圆桌活动，物理学家祁晓亮从信息动力学的角度分析，认为AI革命的标志是信息处理复杂度的临界点。同时我们邀请了来自物理学、范畴论、大模型、语言学、认知和脑科学等领域的学者以及来自业界的研究者进行跨学科交流和碰撞，期待能扩展科研思维，从不同视角共同探讨 AI 未来的发展。






内容简介




大语言模型的诞生被认为是一个临界点，甚至可能加速技术奇点的到来。我们该如何理解这个临界点？为什么这次突破首先出现在语言模型上？现在的大语言模型和人类智能最本质的差别是什么？人工智能的下一个突破点在哪里？我们尝试从信息动力学角度探讨这些问题。

这次分享将主要涵盖这三个部分：


1.为什么说大语言模型的诞生是一个临界点（critical point）？这是一个怎样的临界点？

祁晓亮老师认为，这个临界点是信息处理复杂度的临界点。“信息动力学”描述信息的传播和演化。从这个角度而言，大语言模型带来的技术革命，是由于在输入信息、信息处理、输出信息三个方面，都达到了与人类匹敌的复杂性。


2.为什么是语言模型在复杂性上实现了突破？

人类历史上最重要的信息动力学，首先是DNA的遗传和变异，之后是语言的传播和演进。语言能够达到的复杂度，是人类思考的上限。对于人类来说，信息动力学也就是语言的动力学。正是因为语言在人类社会具有如此核心的地位，它在 AI 的发展中也具有独特的地位。


3.今天的大语言模型和人类智能最本质的区别是什么？人工智能下一步的发展方向是什么？

人类的思维活动有两套系统：系统1——快速的直觉判断，系统2——缓慢的用语言思考。大语言模型本质上是系统1的模拟，虽然可以用语言跟人类交流，但并没有用语言来思考。现在人工智能领域的许多努力是让语言模型拥有像人类一样的系统2，拥有长期记忆，可以从经验中学习。




分享大纲




  1. 为什么说大语言模型的诞生是一个临界点？

  • 什么是信息动力学

  • 信息复杂度的三个方面

  1. 为什么是语言模型在复杂性上实现了突破？

  • 从信息动力学视角看待语言

  1. 人工智能下一步的发展方向是什么？

  • 什么是系统1和系统2？

  • 为大模型构建系统2，是下一步的突破方向吗？




圆桌讨论问题




1.大语言模型达到一个临界点，如何刻画这个临界点？

是信息复杂度的临界点？是实现自指，具备自我意识？和量子信息领域的纠错编码有关？

2.人工智能下一步的发展方向是什么？

如何理解系统1和系统2？为大模型构建系统2，是下一步的突破方向吗？

3.范畴论如何帮助改进大语言模型？

语言描述世界上从具体到抽象的任何事物及其关系，而范畴论是描述数学结构及其关系的理论。两者之间有何关系？范畴论是否可以帮助理解语言，改进大语言模型？





讲者简介




祁晓亮，斯坦福大学物理系终身教授。2003年本科毕业于清华大学基科班，2007年博士毕业于清华大学高等研究中心。此后于斯坦福大学和加州大学圣塔芭芭拉分校从事博士后研究。2010年加入斯坦福，2014年获得tenure。祈晓亮教授的早期研究方向为凝聚态理论，他是拓扑绝缘体理论和拓扑超导理论的开创者之一。近期集中关注量子信息、量子多体与量子引力之间的关系。曾获得包括物理学新视野奖和斯隆奖金在内的多项国际奖项。
个人主页：https://profiles.stanford.edu/xiaoliang-qi




圆桌嘉宾简介




尤亦庄，2013年博士毕业于清华大学高等研究院，之后分别于美国加州大学圣塔芭芭拉分校和哈佛大学从事博士后研究。现为加州大学圣地亚哥分校助理教授，主要研究领域：量子多体物理，及其演生现象和临界现象。
个人主页：https://everettyou.github.io/

张江，北京师范大学系统科学学院教授、集智俱乐部创始人、集智学园创始人、曾任腾讯研究院特聘顾问，复杂系统、人工智能的研究者与布道者。主要研究领域包括复杂网络与机器学习、复杂系统分析与建模、计算社会科学等。
个人主页：https://jake.swarma.org/

刘泉影，南方科技大学生物医学工程系助理教授，博士生导师，神经计算与控制实验室PI。研究方向：机器学习算法、多模态神经信号处理、神经计算建模、医学人工智能等等。
个人主页：https://faculty.sustech.edu.cn/liuqy/

贾伊阳，日本成蹊大学助理教授。研究重点是计算复杂性，算法，以及范畴相关理论。

王庆法，1995-2001清华本硕，统计力学方向，22年从事数据领域工作，先后服务于Schlumberger, IBM, Microsoft Bing, Amazon 供应链，现在负责联想供应链数字化转型，也在参与推动集团大模型战略。长期研究深度学习、神经网络、以及现在大模型的物理原理，分享在自己的公众号“清熙”上。




活动信息




时间：2023年6月3日（周六）  上午 10:00-12:00


参与方式：
1、扫描预约


报名链接：https://pattern.swarma.org/study_group_issue/480?from=wechat

扫码参与读书会，加入群聊获取本系列读书会的视频回放权限、资料权限，与社区的一线科研工作者和企业实践者沟通交流。

2、视频号预约


推荐文章



“后ChatGPT”读书会启动


集智俱乐部的“后 ChatGPT”读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理ChatGPT技术，并发现其弱点与短板。同时，结合集智俱乐部常年来积累的各种人工智能技术讨论，展望后GPT时代的人工智能都有哪些可能性？读书会自2023年3月3日开始，每周五晚上举办，持续时间预计6周，欢迎对本话题感兴趣的朋友报名参加！


详情请见：
“后 ChatGPT”读书会启动：从通用人工智能到意识机器


集智俱乐部因果涌现社区


跨尺度、跨层次的涌现是复杂系统研究的关键问题，生命起源和意识起源这两座仰之弥高的大山是其代表。而因果涌现理论、机器学习重整化技术、自指动力学等近年来新兴的理论与工具，有望破解复杂系统的涌现规律。同时，新兴的因果表示学习、量子因果等领域也将为因果涌现研究注入新鲜血液。


集智俱乐部特别组织「因果涌现」系列读书会，深入研读相关文献，激发科研灵感。目前已经进行了两季，聚集了500+成员，积累了大量论文解读资料。欢迎感兴趣的朋友报名，加入因果涌现社区，并解锁对应录播权限。


读书会详情与报名方式请参考：

因果涌现读书会启动：连接因果、涌现与自指——跨尺度动力学与因果规律的探索

因果、涌现与机器学习：因果涌现读书会第二季启动



集智学园最新AI课程，

张江教授亲授：大数据驱动的人工智能


理解人类语言、创作艺术品、下围棋、蛋白质结构预测、新质子模型的发现、辅助数学定理证明，所有这些不同领域的难题都正在被新兴人工智能技术逐一攻破。人工智能， 特别是以大数据、机器学习、神经网络等技术为主体的智能技术，近年来获得了迅猛的发展，它正在与各个学科发生交叉、融合，逐渐演化为一种解决各种复杂系统问题的跨学科方论，成为支撑复杂系统分析与建模的重要新兴技术。

本课程面向具有一定理工科背景和编程技术基础的学生，全面介绍基于大数据技术驱动为主的人工智能技术的最新进展，包括但不限于：神经网络、深度学习、强化学习、因果推断、生成模型、语言模型、面向科学发现的AI等前沿领域。

https://campus.swarma.org/course/5084?from=wechat


点击“阅读原文”，报名后ChatGPT读书会