图源：pixelplex。https://pixelplex.io/blog/llm-applications/


导语


语言智能体能够模拟和应用人类认知过程，这不仅有助于提升社会科学研究中的数据分析、行为预测和决策模型的精度，还能为社会科学家提供更直观和有效的工具来理解复杂的社会现象；同时，研究大语言模型在概率判断方面的连贯性，直接影响到它们在社会科学中复杂推理和决策模型中的应用。

本次分享，我们邀请到普林斯顿大学计算机系博士后祝建乔，讨论大语言模型在做决策和判断时为什么会系统性地偏离理性假设；我们还邀请到普林斯顿大学计算机科学博士姚顺雨，讨论将语言智能体（language agents）同人类智能进行联系的相关问题。

本期读书会时间为：5月18日9:00-11:00（周六），直播报名入口见后文。



分享一：大语言模型的概率判断




 

该分享与读书会整体主题之间的关系：

自回归大型语言模型（LLM）在生成连贯文本方面的卓越表现，对于计算社会科学领域的研究非常重要，因为这类模型被广泛应用于社会科学数据的分析、文本挖掘和自然语言处理任务。研究LLM在概率判断方面的连贯性，直接影响到它们在社会科学中复杂推理和决策模型中的应用。该分享通过评估LLM的概率判断连贯性，揭示了其在与人类类似的认知偏差上的表现，这不仅有助于改进现有的计算模型，还为未来的跨学科研究和应用开辟了新的路径。


简介：

该分享将讨论大语言模型在做决策和判断时为什么会系统性地偏离理性假设。

参考论文：

（1）Zhu, J. Q., & Griffiths, T. L. (2024). Incoherent Probability Judgments in Large Language Models. Proceedings of the 46th Annual Conference of the Cognitive Science Society
（2）Zhu, J. Q., Sanborn, A. N., & Chater, N. (2020). The Bayesian Sampler: Generic Bayesian Inference Causes Incoherence in Human Probability Judgments. Psychological Review


大纲：

  • 研究问题：自回归大型语言模型（LLM）在形成连贯的概率判断方面同样擅长吗？
  • 研究方法：使用概率恒等式和重复判断来评估LLM做出的概率判断的连贯性
  • 研究发现：
  • 模型产生的判断通常是不连贯的，表现出与概率论规则系统偏差类似的人类特征
  • 在对相同事件进行判断时，LLM产生的概率判断的均值-方差关系呈现出类似人类的倒U形状

  • 可以通过将自回归LLM与隐式贝叶斯推断联系起来，并与人类概率判断的贝叶斯采样模型相比较，来解释这些与理性背离的现象


涉及到的关键知识概念：

  • LLM: 大语言模型

  • Probability Identities: 概率恒等式

  • Bayesian Sampler: 贝叶斯采样模型

  • Rationality: 理性


主讲人：

祝建乔，普林斯顿大学计算机系博士后。研究方向主要包括计算认知模型，贝叶斯模型在人和机器的行为和认知上的应用。研究方法主要包括计算建模，行为学实验，理性分析。




分享二：语言智能体的认知架构




 

该分享与读书会整体主题之间的关系：

语言智能体能够模拟和应用人类认知过程，这不仅有助于提升社会科学研究中的数据分析、行为预测和决策模型的精度，还能为社会科学家提供更直观和有效的工具来理解复杂的社会现象。此外，探索语言智能体与人类智能的关系，有助于推动人工智能技术的发展，特别是在自然语言处理和人机交互等前沿领域。


简介：

该分享将讨论将语言智能体（language agents）同人类智能进行联系的相关问题。


参考论文：

Sumers, T., Yao, S., Narasimhan, K., & Griffiths, T. L. (2024). Cognitive Architectures for Language Agents. Transactions on Machine Learning Research.


大纲

  • 什么是语言智能体（language agents）

    • 一些例子

    • 为什么和传统智能体（agents）有根本不同？

  • 语言智能体的认知架构

    • 为什么我们需要对智能体的架构性思考

    • 认知架构的历史和局限性

    • CoALA架构

  • 讨论

    • 人类智能对人工智能（还）有参考价值吗

    • （语言）智能体的未来？

    • 心理学的未来？


涉及到的关键知识概念：

  • Agents：智能体

  • Language Models：语言模型

  • Language Agents：语言智能体

  • Cognitive Architecture：认知架构


主讲人：

姚顺雨，普林斯顿大学计算机科学博士，此前毕业于清华大学的姚班。研究语言智能体与世界之间建立互动，以及人工智能相关问题。





嘉宾




此外，本季读书会发起人之一，白雪纯子，将一起参与讨论，与两位主讲人、与大家，探讨AI带给心理学的冲击与机遇。

白雪纯子是普林斯顿大学心理学系博士，同时隶属于公共与国际事务学院、认知科学项目以及统计与机器学习中心。她研究动态社会心智，即个体决策过程与社会现象在社会认知领域的相互作用。她当前的工作探索社会刻板印象的心理学起源。白雪纯子将于2024年7月加入芝加哥大学心理学系担任助理教授。
个人主页：https://www.xuechunzibai.com/。




直播信息




直播时间：

2024年5月18日（周六）9:00 – 11:00

参与方式：

集智俱乐部 B 站账号直播，扫码可预约：

扫码预约本次直播


若需要观看视频回放，文末扫码付费参加AI+Social Science读书会可加入腾讯会议，可提问交流、加入群聊、获取视频回放及更多学习资料，成为计算社会科学社区种子用户，与700余名计算社会科学的一线科研工作者沟通交流，共同推动计算社会科学社区的发展。





报名成为主讲人




读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：AI+Social Science：大模型怎样重塑社会科学 | 计算社会科学读书会第三季启动



AI+Social Science读书会启动


集智俱乐部联合美国东北大学博士后研究员杨凯程、密歇根大学安娜堡分校博士候选人裴嘉欣，宾夕法尼亚大学沃顿商学院人力资本分析研究组博士后研究员吴雨桐、即将入职芝加哥大学心理学系的助理教授白雪纯子，共同发起AI+Social Science读书会，从3月24日开始，每周日晚20:00-22:00，探究大语言模型、生成式AI对计算社会科学领域带来的新思想新价值。


详情请见：
AI+Social Science：大模型怎样重塑社会科学 | 计算社会科学读书会第三季启动



点击“阅读原文”，报名读书会