关键词:深度学习,自然语言处理,层级结构,预测编码理论



论文题目:Evidence of a predictive coding hierarchy in the human brain listening to speech
论文来源:Nature Human Behaviour
论文链接:https://www.nature.com/articles/s41562-022-01516-2

最近,自然语言处理取得了相当大的进展:深度学习算法在生成、总结、翻译和分类文本方面的能力越来越强。然而,这些语言模型仍然比不上人类的语言能力。预测编码理论(Predictive coding theory)为这种差异提供了一种尝试性的解释:虽然语言模型被优化为预测附近的单词,但人类大脑会持续预测跨越多个时间尺度的表达层次。

为了验证这一假设,这项研究分析了304名参与者在听短篇故事时的功能性磁共振成像大脑信号。首先,作者证实了现代语言模型的激活与大脑对语言的反应之间存在线性映射。其次,作者证明了用跨越多个时间尺度的预测增强这些算法可以改善这种大脑映射。最后,作者证明了这些预测是按层次组织的:额顶叶皮层预测的水平更高,范围更广,比颞叶皮层更有背景性。总的来说,这些结果强调了分层预测编码(hierarchical predictive coding)在语言处理中的作用,并说明了神经科学和人工智能之间的协同作用如何揭示人类认知的计算基础。

图1. 实验方法

图2. 大脑中层级预测的组织。



NeuroAI读书会招募中



详情请见:

NeuroAI 读书会启动:探索神经科学与人工智能的前沿交叉领域



“后ChatGPT”读书会招募中




详情请见:
“后 ChatGPT”读书会启动:从通用人工智能到意识机器

报名链接:
https://pattern.swarma.org/study_group/23?from=wechat


推荐阅读

1. 前沿综述:面向深度学习的集体智能
2. Nat. Commun. 速递:通过深度强化学习寻找自旋玻璃基态
3. 前沿进展:分析网络隐含几何,理解大脑等复杂系统
4. 《张江·复杂科学前沿27讲》完整上线!
5. 成为集智VIP,解锁全站课程/读书会
6加入集智,一起复杂!



点击“阅读原文”,报名读书会