导语


本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。


为了促进社区成员对NeuroAI更加全面的认识与广泛的交流，本次圆桌论坛邀请到英国某”龙头”人工智能公司研究科学家Kevin Li围绕ChatGPT这一主题举办NeuroAI圆桌论坛，届时NeuroAI读书会的三位发起人柳昀哲老师、鲍平磊老师和吕柄江老师将会参与讨论。


同时，集智俱乐部特别策划的“后ChatGPT”读书会已经启动报名，将从‍‍‍‍‍‍‍ChatGPT的技术原理出发，延展探讨复杂适应系统、因果科学、类脑智能、知识图谱、自指、意识等一系列方向的探索历程与前沿进展，勾勒未来人工智能技术路线图，并探讨通用人工智能预期下的未来社会前景。每周五晚线上研讨，3月3日第一期，欢迎感兴趣的朋友报名，点击查看详情。‍‍‍‍‍





分享内容简介



 
大规模语言模型的成功燃起新的AI浪潮。纵观近10多年的AI简史，包括AlexNet和AlphaGo在内的众多AI问世引发大量渲染和炒作，对社会发展和科研进步带来很大困扰。我们需要加强对ChatGPT模型本质的了解，并且将他的工作原理与我们所熟知的智能对照，进而认识到ChatGPT模型真正的社会价值和危害。





分享内容大纲




本期读书会我们将进行以下几个环节：

  • 开场介绍

  • 议题讨论

  • ChatGPT的基本原理——统计学习和人类反馈强化学习

  • 分析智能解的条件，猜想强项和弱项

  • 测试ChatGPT以验证猜想

  • 理性漫谈ChatGPT对未来各领域的影响

  • 读书会总结

为保证每个环节可以专注，我们将把议题讨论部分的四个内容分开进行。三分之一的时间介绍，剩下时间讨论。





核心概念



 

  • 生成式预训练（generative Pre-Training）

  • 无（自）监督式学习（self-supervised learning）

  • 人类反馈强化学习（reinforce）





主讲嘉宾




Kevin Li，英国某”龙头”人工智能公司研究科学家，大部分时间做对不确定敏感的强化学习，但涉足领域太广以至于样样不精，包括生成模型去和密度估计算法，神经科学方面有过关于不确定性表征，知觉学习等各种听上去花里胡哨的理论工作。喜欢专注且有营养的技术讨论和脑洞。





圆桌嘉宾




柳昀哲，2016 年于北京师范大学获得硕士学位，2020年于伦敦大学学院获得博士学位，2020年-2021年在牛津大学从事博士后 研究。2021年至今任认知神经科学与学习国家重点实验室 & 北京脑科学与类脑研究中心研究员。

柳昀哲实验室致力于解析人类高级智能行为的计算和神经机制（目前主要关注认知地图的形成和发展）和开发新型的神经编解码模型和脑机接口，为脑疾病和精神疾病的诊疗与调控提供新的手段。

鲍平磊，2003年于中国科学技术大学获得理学学士学位，2014年于南加州大学获得博士学位，2014年-2020年在加州理工学院从事博士后研究。2020年11月至今任北京大学心理与认知科学学院研究员、麦戈文脑研究所研究员、北京大学-清华大学生命科学联合中心研究员。

鲍平磊实验室致力于高级视觉功能认知的神经机制探索，采用电生理，脑功能成像，微电刺激以及心理物理的方法等多种研究手段对于人和非人灵长类的视觉系统进行多层面的研究，并结合深度学习网络等多种手段去构建视知觉的数学模型。

吕柄江，2011年于大连理工大学获得学士学位，2017年于北京大学获得博士学位，2017年-2021年在英国剑桥大学从事博士后研究，2021年11月至今任昌平实验室研究员。

目前主要开展基于多模态脑成像技术的神经解码研究工作。




直播信息



 

时间：

2023年2月19日晚上19:00-21:00

参与方式：

扫码参与NeuroAI读书会，加入群聊，获取系列读书会回看权限，成为NeuroAI社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动NeuroAI社区的发展。





本次分享与读书会主题的关系




训练ChatGPT采用了大量人类反馈。看似类似于给大量人类被试进行简单的NAFC任务，但又融入了有趣的实验设计和数据分析方法。同时，ChatGPT的对话能力也给我们带来思考：

  • 什么样的行为和对话是智能独有的体现？

  • ChatGPT的训练原理能否产生智能行为？如果不行，需要哪些拓展？

  • 什么样的任务可以有效检验智能？

  • 中国企业希望复刻ChatGPT的成功，我们要注意哪些？




主要涉及的参考文献



 

Illustrating Reinforcement Learning from Human Feedback (RLHF) https://huggingface.co/blog/rlhf.

短小精悍的总结。

Radford, Alec, et al. “Improving language understanding by generative pre-training.” (2018).

关于GPT的基本原理。

Christiano, Paul F., et al. “Deep reinforcement learning from human preferences.” Advances in neural information processing systems 30 (2017).

RLHF的成功应用。





读书会回顾总结



 
在本季NeuroAI读书会中，聚焦于认知智能这一主题，分为视觉智能、语言智能和学习智能三个模块，共进行了10期分享，每一期不仅在腾讯会议室进行，也在集智俱乐部B站，集智俱乐部视频号同步免费直播，累计受到关注近30000，平均每个模块的累计受关注度近10000，并沉淀了累计19h的视频回放资源。为了让大家对NeuroAI读书会有一个全面、立体的认识，从内容梳理、共创任务两个维度进行介绍。


内容梳理

NeuroAI是一个很新颖的词汇，动心起念是想从神经科学的研究中找到促进人工智能发展的灵感。在现实层面，人工智能领域的算法正在愈来愈多的促进对神经科学研究中的黑箱的理解。在视觉智能、语言智能和学习智能三个模块的分享中，循着人类认识的不同层次，鲍平磊、吕柄江、柳昀哲三位老师分别围绕“物体识别的神经机制与人工神经网络”、“人脑对语言的表征与人工神经网络”、“心理学视角的强化学习算法及其生物表征”进行了概览性的介绍，并推荐了领域或经典、或前沿的文献供社区成员进行解读分享。为了让大家对本季NeuroAI读书会有一个系统的了解，对分享内容进行如下梳理。


共创社区

集智俱乐部读书会一直以来都在探索共学共研的模式，希望能够促进跨学科的交流与合作。不仅是现场的分享解读与交流，也会沉淀成不同的学习资源供大家高效的学习。经过不断的迭代与探索，现已初步建立了主题共创任务社区，并将内容沉淀分解成不同体量的共创任务，从而实现让更多人参与到社区共创中来。目前共创任务由易到难分为论文摘要翻译、读书会笔记、集智百科词条、公众号文章、以及主题分享五种类型。例如NeuroAI读书会与神经动力学读书会共同组成了「神经、认知、智能」社区。


致谢

其中NeuroAI读书会共有35位社区成员参与到「神经、认知、智能」主题共创任务社区中来。他们分别是：

发起人：柳昀哲、鲍平磊、吕柄江。

主题分享：鲍平磊、吕柄江、柳昀哲、丁鼐、林楠、王少楠、李吉星、方宇星、黄述泓、龚政鑫、曹红星、郑晖、潘登、刘亚男、王骥一。

公众号文章：张慧、赵凯、刘畅、张振宇、王佳馨、任卡娜、贾圣祎、余颖。

集智百科词条：瞿宇堃、李仪琳。

读书会笔记：陈音含、柯江、肖金明、杜泊铭、牧江川、谈悦、孙翊涵。

运营团队：周莉、姚怀远、靳凯哲。


NeuroAI读书会招募中


神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。


详情请见：

NeuroAI 读书会启动：探索神经科学与人工智能的前沿交叉领域


后ChatGPT读书会招募中


2022年11月30日，一个现象级应用程序诞生于互联网，这就是OpenAI开发的ChatGPT。从问答到写程序，从提取摘要到论文写作，ChatGPT展现出了多样化的通用智能。于是，微软、谷歌、百度、阿里、讯飞，互联网大佬们纷纷摩拳擦掌准备入场……但是，请先冷静一下…… 现在 all in 大语言模型是否真的合适？要知道，ChatGPT的背后其实就是深度学习+大数据+大模型，而这些要素早在5年前的AlphaGo时期就已经开始火热了。5年前没有抓住机遇，现在又凭什么可以搭上大语言模型这趟列车呢？


集智俱乐部特别组织“后 ChatGPT”读书会，由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起，旨在系统性地梳理ChatGPT技术，并发现其弱点与短板。本系列读书会线上进行，2023年3月3日开始，每周五晚 19:00-21:00，欢迎报名交流。


详情请见：
“后 ChatGPT”读书会启动：从通用人工智能到意识机器

推荐阅读



点击“阅读原文”，报名NeuroAI读书会