英国伯明翰大学认知神经科学博士Ninja Katja Horr女士,在集智开展主题为“认知神经科学与人工智能结合”的讲座

导语

理解大脑处理复杂信息的过程，有助于设计更符合人性的产品和服务，有助于开发更有创造力的人工智能。11 月 23 日，在集智俱乐部联合 Brain Intelligence 与清华大学脑科学协会举办的线下活动中，英国伯明翰大学认知神经科学博士 Ninja Katja Horr，开展题为“Neuroscience, Artificial Intelligence & Real-Life Cognition”的公开讲座，介绍神经科学与人工智能的结合及其商业实践。

本文是对讲座主要内容的整理，完整视频已在集智学园上线，点击小程序即可观看。

一、神经科学与人类行为-什么是神经科学？

二、神经科学与人类行为-大脑的工作原理

三、神经科学与人类行为-大脑的研究方法

四、神经科学与人类行为-人类情绪监控

五、神经科学与人工智能-互相启发

六、人工智能+神经科学的商业落地-神经营销

七、人工智能+神经科学的商业落地-游戏设计

八、结语

附：参考文献

http://campus.swarma.org/play/coursedetail?id=11068

神经科学与人类行为：

什么是神经科学？

相较于人工智能（Artificial Intelligence，AI），神经科学（Neuroscience）对于我们的生活似乎更加遥远。什么是神经科学？很多人可能认为神经科学是对生物体神经细胞或神经系统组织的研究，也有一些人可能想到神经疾病的研究，但这些只是神经科学领域的冰山一角。

从广义上讲，神经科学是研究神经系统和大脑的结构和功能的学科（《牛津词典》定义）。对于人类和其他有大脑的动物，可以直接叫另外一个更响亮的名字：

“脑科学”

图1：脑子是个好东西，可不是谁都有。以上三种动物只有“神经节”

神经科学包含了三个层面：生物医学层面、认知层面、计算层面。分别对应神经生物学、认知神经科学和计算神经科学三类小学科。

生物医学层面的神经科学研究重点在于神经相关蛋白研究、神经结构的解剖、神经环路的研究和神经系统的构成研究。可以理解为从微观到宏观去研究生命体的神经结构。
认知神经科学研究着重关注神经系统控制生物体产生的各种行为，从低级的进食、求偶、睡眠，到中级的记忆、注意、学习，再到高级的意识、逻辑、决策等。按照神经功能的复杂性，从简单到复杂，通过行为学实验进行研究。
计算神经科学研究大脑运行的程序机制。把大脑与电脑类比，试图从神经元的不同构成和关系，发现大脑的“硬件是如何编程的”。当然，也可以反过来，通过解构大脑的结构，设计性能更强劲的电脑芯片，通常称为“类脑计算”。

神经科学与人类行为：

大脑的工作原理

大脑的工作原理基本可分为感受刺激、分析刺激和输出反应。感受刺激的功能由我们的面部感官（眼、耳、鼻、舌=视觉、听觉、嗅觉、味觉）以及官方分布在全身的触觉感受器提供；分析刺激的功能区域在大脑皮层，对于不同的刺激，会有“专门”的皮层去处理；输出的反应进入“意识”之中，表现为“我们看到了什么东西”，之后再结合记忆或者经验生成一定的解决方案，交付身体的其他活动器官进行反应。整个过程十分迅速，一位经验丰富的网球运动员能够在0.37秒钟内对于一颗飞速逼近的网球做出正确反应（接球位置、如何接球、什么角度、多大力气、打向哪里等等）。

图2：大脑工作过程

神经科学与人类行为：

大脑的研究方法

功能性核磁成像（MRI）能够清楚地观察到大脑的内部结构，甚至大脑各个区域耗氧量的情况，是一种十分强大的研究手法。但是核磁技术需要庞大且昂贵的设备，被试者需要固定在仪器上，无法动态捕捉。与功能性核磁成像相似的技术还有脑磁图（MEG）、正电子扫射成像（PET）等，均需要大型设备。它们的共同特点是空间分辨率高，可以在毫米尺度分辨大脑的结构以及各个部位耗能、耗氧情况。但是在时间尺度分辨率较低，无法检测快速的大脑活动变化。

图3：功能性核磁成像技术

脑电图（EEG）、事件性脑电图（ERP）是对于大脑活动产生的电波的检测，可以快速地（毫秒级别）收集大脑活动变化的信息，并从中分析出大脑的若干思维状态。测绘脑电图的第一步是通过电极收集头部若干位置与接地点（通常是耳垂）之间的电势差，这些电势差经过硬脑膜、颅腔、颅骨的削弱，只剩下微伏级别，需要特殊的放大电路进行放大才能检测，也通常需要使用导电性能很好的液态物质（脑电膏）涂抹在头皮和电极之间。将黏糊糊的脑电膏涂抹在头皮实在不是一件愉快的事情，因此也有一些设备不需要涂抹脑电膏（干电极设备），当然导电效果要差一些，测量的脑电图有更大的误差。

图4：脑电图测量设备

通常脑电图（EEG）是多导联（指的是要测量很多的头皮点位与耳垂之间的电势差），这些点位按照国际规范来布置，将每一个电位电势差随时间变化的图像放在一起，就成了常规的脑电图。由于大脑皮层的不同区域有特定的分工，因此通常在研究一个特定问题（如视觉问题）时，不需要测量所有规范点位的脑电图（EEG），只需要测量与视觉皮层对应的几个点位的脑电图（EEG）。下左图为规范点位的分布，图示为头顶正射俯视；下右图为若干点位脑电图（EEG）图像，横轴为时间，纵轴为个点位电势差的变化，纵轴单位通常为微伏。超过100微伏的电势差波动很可能是由于摩擦、运动等干扰造成，而非真实的脑电波动。

图5：规范点位的分布；若干点位脑电图（EEG）图像示例

事件性脑电图（ERP）是在重复进行某个事件的脑电图（EEG）检测时，将多次的脑电图（EEG）平均，以消除噪声干扰，分辨只与事件相关的脑电波动。因此事件性脑电图（ERP）本质上是多个脑电图（EEG）的平均，测量方式与脑电图（EEG）一致。在进行笑脸识别实验中，检测到某点位的脑电图（EEG）波动看似是杂乱无章的，是因为其中混杂了很多其他信息（比如你脑中盘算着做完实验，领完报酬之后，晚餐去哪里消费）。将多次实验的脑电图（EEG）平均后，噪音正负平衡，而与实验事件相关的电势变化得到了增强，显示出特异性的波浪起伏。

图6：什么是事件性脑电图（ERP）？

在众多特异性事件性脑电图（ERP）中，比较著名的一种称之为P300波，指的是在搜寻实验中查看到预期相符的目标后，大脑视觉皮层在300毫秒后出现一个大幅正向（positive）电势变化，因此得名P300。（同理，还有P170，P400，N300……N值得是负向电势变化negative，这些名称代表了不同范式事件带来的特异性事件性脑电图（ERP））。

论文题目：

Updating P300: An integrative theory of P3a and P3b.

论文地址：

https://www.sciencedirect.com/science/article/abs/pii/S1388245707001897

在你搜索字母D时，屏幕上出现的字母有你想要的字母，你的视觉皮层在300毫秒后会产生正向电势波动。这样的搜索又可分为P300a和P300b，分别对应不主动的搜索和主动的搜索。这好比你在人群中找Tom时，看到了你失散多年的妹妹（P300a），或者看到了Tom（P300b）。

论文题目：

Visual P300 Mind-Speller Brain-Computer Interfaces: A Walk Through the Recent Developments with Special Focus on Classification Algorithms.

论文地址：

https://www.ncbi.nlm.nih.gov/pubmed/30997842

图7：事件相关电位P300的实验范式

脑电图（EEG）脑波的分析通常在时域和频域两个维度，时域指的是分析脑电图（EEG）的幅度随着时间的变化；频域的指的是分析一段时间内脑电图（EEG）频率的变化。上述的事件性脑电图（ERP）是经典的时域分析，而频域分析第一步需要进行快速傅里叶变换或者傅里叶变换。经过傅里叶变换之后，脑电图（EEG）被区分为不同频率的多种波，它们各自的活跃程度对应大脑不同状态。经过快速傅里叶变化之后的脑电图（EEG），可知其在连续的频率空间中，各频率能量分布，是判断大脑宏观状态的重要手段。

图8：左图为快速傅里叶变换后的脑电图（EEG），横轴为频率单位，纵轴为功率单位。右图为傅里叶变换后的脑电图（EEG），被区分为了γ、β、σ等不同频率范围的波，它们各自代表着不同的大脑宏观状态。

神经科学与人类行为：

人类情绪监控

左右脑对于不同情绪的兴奋程度有一定的差别，右脑掌控负面情绪更多，左脑掌控正面情绪更多（Review: Smith et al., 2017, Physiology & Behaviour）。因此，对于左右脑脑电图（EEG）进行快速傅里叶分析后，得到左右脑放电功率的比值，可以初步表征人的喜乐情绪。

论文题目：

Assessing and Conceptualizing Frontal EEG Asymmetry: An Updated Primer on Recording, Processing, Analyzing, and Interpreting Frontal Alpha Asymmetry.

论文地址：

https://www.ncbi.nlm.nih.gov/pubmed/27865882

图9：将频域分析的结果放到时域图中，是一种较为高级的脑电图（EEG）分析手法。

神经科学与人工智能：

互相启发

神经科学的研究启发了人工智能算法的发展。人工智能算法网络参照人类神经元计算网络设计。多层神经网络与大脑处理信息的层次结构也不谋而合。

图10：神经元接受多个其他神经元输入信息，整合后发送到下一个神经元。

图11：人类视觉皮层有多个有层次的区域，分别进行图像的初级到高级的处理。

论文题目：

Neural Networks and Neuroscience Inspired Computer Vision.

论文地址：

https://www.ncbi.nlm.nih.gov/pubmed/25247371

脑电图信息量复杂、噪音多、数据量大。分析脑电图（EEG）一般需要采用AI的算法，进行特征提取和分析。总的来讲，神经科学与人工智能是相互促进、相互结合、互惠互利的两个领域。

图12：神经科学与人工智能的关系图

论文题目：

Neuroscience-Inspired Artificial Intelligence.

论文地址：

https://www.ncbi.nlm.nih.gov/pubmed/28728020

人工智能+神经科学

的商业落地：神经营销

广告的效果怎样，取决于有多少人看到了广告以及人们看到广告后有什么样的反应（厌恶、喜好、购买决策等）。对观看广告时人的情绪进行脑波分析，可以辅助设计者更好地设计广告，以达到更好的“观看广告后的反应”。脑电图（EEG）检测辅助眼动仪检测，分析广告观看者的注意力与情绪，在广告设计时提供十分有建设性的建议。也能预期广告的效果。下图为某品牌的某奶制品饮料的广告，让观看者先产生了一段时间负面情绪，之后由于画面变动刺激，产生大幅度正面情绪，最后观看结束时稳定在正面情绪。整个过程中，产品的品名和品牌受到了足够的关注。

图13：脑电图技术评估广告的效果

除了广告之外，神经科学也能辅助展示性商品营销，如电商页面。

图14：借助眼动分析，可知关注度轨迹；辅助脑电图（EEG）分析，可知情绪变化，以及购买决策的完成过程。

图15：神经科学技术仿佛大脑黑客，让商业分析第一次有了机会能如此本质地研究消费决策

人工智能+神经科学

的商业落地：游戏设计

与营销的目的类似，游戏也需要“取悦”它的用户，或者说，取悦用户是游戏的本质目标和一切目标（营销的目的还有树立品牌认知、单纯的商品介绍等，甚至有些电梯广告根本不想取悦用户）。因此，比起在营销方面的应用，神经科学技术似乎更应该应用到游戏设计上。

图16：游戏界面设计、人物、装备等形象设计上，应用神经科学技术进行设计分析。

结语

神经科学是一个广阔的领域，几乎可以涉及到人类的任何学科和实际应用。这种潜力在市场中越来越得到认可，使得近年来诸如神经经济学，消费者神经科学或教育神经科学等神经科学的实用领域迅速发展。神经科学与人工智能的结合，是广义智能科学的雏形，也是人类发展的大势。

图17：第四次工业革命怎么不可能是脑科学或者智能科学？

为了促进神经科学在实践中的应用以及人工智能的发展，我们需要对复杂的现实生活中的认知和行为有更好的理解。这需要AI研究人员和神经科学家的共同努力！

参考文献：

[1]. Polich (2007). Updating P300: An integrative theory of P3a and P3b. Clinical Neurophysiology, 118, 2128-2148.

[2]. Philip, J., & George, T. (2019). Visual P300 Mind-Speller Brain-Computer Interfaces: A Walk Through the Recent Developments with Special Focus on Classification Algorithms. Clinical EEG & Neuroscience, 10, e1003915.

[3]. Smith, E., Reynik, S. J., Stewart, J. L., & Allen, J. J. B. (2017). Assessing and Conceptualizing Frontal EEG Asymmetry: An Updated Primer on Recording, Processing, Analyzing, and Interpreting Frontal Alpha Asymmetry. Physiology & Behavior, 176, 139–148.

[4]. Cox, D. D. & Dean, D. (2014). Neural Networks and Neuroscience Inspired Computer Vision. Current Biology 24, R921–R929

[5]. Hassabis, D., Kumaran, D., Summerfield, C., & Botvinick, M. (2017). Neuroscience-Inspired Artificial Intelligence. Neuron, 95, 245-258

招聘信息：

Ninja 博士是 Brain Intelligence 的科学家，领导着认知神经科学与人工智能相结合的研究项目，有相关专业背景或对该领域感兴趣的朋友，可投递简历至 hr@brain-intelligence.cn 。