本次是因果科学与大语言模型读书会的第五期。近期多模态大模型（MLLMs）有许多发展，也获得了广泛关注。但是多模态大模型存在的幻觉问题与单模态偏见如何缓解？多模态的因果能力到底怎么样？我们将由来自北京大学智能学院的博士生陈美琪态大模型幻觉问题因果分析与因果能力探究的内容。
集智俱乐部联合北京大学大数据科学研究中心博士研究生李昊轩、伦敦大学学院计算机博士研究生杨梦月，卡耐基梅隆大学和穆罕默德·本·扎耶德人工智能大学博士后研究员陈广义共同发起「因果科学+大模型」读书会。这是我们因果科学系列读书会的第五季，旨在探讨在大模型之后为何仍需“因果科学”？大模型如何推动因果科学的研究进展？因果科学能否在推理能力、可解释性和可信性等方面启发更优大模型的设计？以及因果科学的最新进展如何在实际领域中应用和落地？希望汇聚相关领域的学者，共同探讨因果科学的发展和挑战，推动学科发展。
多模态大模型幻觉问题因果分析
近期大语言模型（LLMs）的进展促进了多模态大模型（MLLMs）的发展。尽管MLLMs展示了强大的能力，但我们发现它们常常过度依赖单模态偏见（例如语言偏见和视觉偏见），导致在复杂的多模态任务中出现错误答案。为了研究这个问题，我们提出了一个因果框架来解释模型在视觉问答（VQA）问题中的偏见。在这个框架内，我们进行了深入的因果分析，以评估这些偏见对模型预测的因果影响。基于分析结果，我们构建了一个新颖的数据集（MORE），该数据集包含极具挑战性的VQA实例，需要模型正确地执行多跳推理并克服单模态偏见。我们的实验表明，MLLMs在MORE上的表现较差，显示出强烈的单模态偏见和有限的语义理解。我们提出了两种解决方案，包括提示和微调，以减轻这些偏见并改善MLLMs的推理能力。
多模态大模型因果能力探究
因果推理是人类智慧的基础，对现实环境中的有效决策至关重要。现阶段，MLLMs 对于因果关系的理解能力仍不明确。以往的研究通常关注事件和/或行动之间的常识性因果关系，这对于具身智能等应用来说是严重不足的，并且缺乏形式因果推理所需的明确定义的因果图。为克服这些限制，我们引入了一个细致且统一的因果关系定义，涉及人类和/或物体之间的互动。在这一定义的基础上，我们构建了一个新颖的数据集CELLO，涵盖因果关系的四个层次：发现、关联、干预和反事实。该数据集通过包括详细的人物与物体互动的明确因果图，超越了传统的常识性因果关系。在CELLO上的广泛实验表明，当前的MLLMs在因果推理任务上仍面临困难。
MORE：多模态大模型的单模态偏见测评数据集
-
背景介绍
-
单模态偏见问题定义
-
数据集构建 & 方法
-
实验结果
-
CELLO：多模态大模型因果推理能力评测数据集
-
背景介绍
-
数据集构建 & 方法
-
实验结果
-
陈美琪，北京大学智能学院博士生，导师为张岩教授。研究兴趣为大模型和因果推理，在 ACL、COLING 等AI领域国际顶级会议上以第一作者身份发表过多篇论文，担任 ACL、EMNLP、NAACL等多个顶会的 PC Member 或审稿人，获得过北京大学三好学生等多项校级或国家级的荣誉奖励。
李昊轩， 北京大学大数据科学研究中心，数据科学（统计学）博士，CCF会员、IEEE会员、ACM会员。研究兴趣为因果机器学习理论、反事实公平性、推荐系统去偏、分布外泛化、多源数据融合、生物信息学和大语言模型等。已在ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个CCF-A顶尖会议以第一作者发表多篇论文，其中5篇论文被评选为Spotlight或Oral，现为ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个顶会PC member或Area Chair，以及TKDE、TOIS、TKDD、The Innovation、《中国科学：信息科学》等多个顶级期刊审稿人，14项发明专利。连续两年获得北京大学博士最高研究奖“校长奖学金”，获国家奖学金，九坤（人工智能方向）奖学金，北京大学三好学生，两项成果获北京大学“挑战杯”五四青年科学奖特等奖，并获得首批国家自然科学基金青年学生基础研究项目（博士研究生）30万资助。
直播时间：
8月18日20:00-22:00（周日），直播报名入口见后文。
参与方式：
集智俱乐部 B站和视频号免费直播，扫码可预约：
若需要观看视频回放，文末扫码付费参加可加入腾讯会议，可提问交流、加入群聊、获取视频回放及更多学习资料，成为因果科学社区种子用户，与一线科研工作者沟通交流，共同推动因果科学社区的发展。
MORE：多模态大模型幻觉/单模态偏见问题的定义、分析与缓解
Meiqi Chen, Yixin Cao, Yan Zhang, et al. Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective. arXiv:2403.18346, 2024 https://arxiv.org/pdf/2403.18346
Meiqi Chen, Bo Peng, Yan Zhang, et al. CELLO: Causal Evaluation of Large Vision-Language Models. arXiv:2406.19131, 2024 https://arxiv.org/pdf/2406.19131
“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。集智俱乐部在过去4年期间围绕研究人员的不同角度的需求，举办了4季相关主题的读书会，形成了数千人规模的社区。
【第一季：因果科学与Causal AI】基于《Elements of Causal Inference》，探讨因果科学在机器学习方面的应用，如强化学习和迁移学习等，并分享工业应用。
【第二季：因果科学与基础实战】聚焦实操和基础，深入学习《Causal inference in statistics: A primer》和《Elements of causal inference: foundations and learning algorithms》。
【第三季：因果科学与Causal +X】回顾社会学、经济学、医学，计算机等领域的因果模型和范式，尝试用现代模型提供新思路。
【第四季：因果表征学习】探讨因果表征学习的理论、技术和最新应用，涉及因果生成模型、可解释性、公平性及工业落地。
第五季读书会主要围绕因果科学的最新进展，包括因果科学与大模型的结合等方面进行深度的探讨和梳理，希望给在这个领域的研究者提供一个全面的研究图景。共同探讨因果科学的未来发展以及面临的挑战。
详情请见：速来！因果与大模型的双向赋能丨因果科学第五季强势回归
