大脑通过根据一套秘密规则调整其无数连接来进行其典型任务——学习。为了揭开这些秘密,科学家们在 30 年前开始开发尝试复制学习过程的计算机模型。现在,越来越多的实验表明,这些模型在执行某些任务时,其行为与实际大脑惊人地相似。研究人员表示,这些相似之处表明大脑和计算机的底层学习算法之间存在基本的对应关系。
计算机模型 Boltzmann 机使用的算法,由 Geoffrey Hinton 和 Terry Sejnowski 于 1983 年发明,似乎特别有希望作为对许多大脑过程(包括发育、记忆形成、物体和声音识别以及睡眠-觉醒周期)的简单理论解释。
支持科学新闻报道
如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保未来关于塑造我们当今世界的发现和想法的有影响力的故事。
安大略省汉密尔顿市麦克马斯特大学心理学、神经科学和行为学教授 Sue Becker 说:“这是我们目前真正理解大脑的最佳可能性。”“我不知道有哪个模型能够从学习和大脑结构的角度解释更广泛的现象。”
人工智能领域的先驱 Hinton 一直想了解大脑何时加强连接以及何时削弱连接的规则——简而言之,就是我们如何学习的算法。他说:“在我看来,如果你想了解某些东西,你就需要能够构建一个。” 遵循物理学的还原论方法,他的计划是构建使用各种学习算法的大脑的简单计算机模型,并“看看哪些有效”,Hinton 说,他同时在多伦多大学(他是计算机科学教授)和谷歌工作。
在 20 世纪 80 年代和 90 年代,Hinton(19 世纪逻辑学家乔治·布尔的曾曾孙,其工作是现代计算机科学的基础)发明或共同发明了一系列机器学习算法。这些算法告诉计算机如何从数据中学习,用于称为人工神经网络的计算机模型中——人工神经网络是由相互连接的虚拟神经元组成的网络,这些神经元通过开启和关闭或“放电”来向其邻居传输信号。当数据被输入网络时,会引发一连串的放电活动,该算法根据放电模式确定是否增加或减少每对神经元之间连接(或突触)的权重。
几十年来,Hinton 的许多计算机模型都处于停滞状态。但由于计算能力的进步、科学家对大脑的理解以及算法本身,神经网络在神经科学中发挥着越来越重要的作用。加利福尼亚州拉霍亚索尔克生物研究所计算神经生物学实验室负责人 Sejnowski 说:“三十年前,我们的想法非常粗糙;现在我们开始检验其中的一些想法。”
大脑机器
Hinton 早期复制大脑的尝试是有限的。计算机可以在小型神经网络上运行他的学习算法,但扩大模型的规模很快就使处理器不堪重负。2005 年,Hinton 发现如果他将他的神经网络分成层,并一次在一层上运行算法(这近似于大脑的结构和发育),该过程会变得更有效率。
尽管 Hinton 在两份顶级期刊上发表了他的发现,但那时神经网络已经失宠,“他正在努力让人们感兴趣”,华盛顿州微软研究院的首席研究员李登说。然而,邓认识辛顿,并决定在 2009 年尝试他的“深度学习”方法,很快就看到了它的潜力。此后,理论学习算法已在越来越多的应用中投入实际使用,例如 Google Now 个人助理和 Microsoft Windows 手机上的语音搜索功能。
其中最有前途的算法之一 Boltzmann 机,以 19 世纪奥地利物理学家路德维希·玻尔兹曼的名字命名,他开发了处理大量粒子的物理学分支,称为统计力学。玻尔兹曼发现了一个方程,给出了分子气体在达到平衡时具有特定能量的概率。用神经元代替分子,Boltzmann 机在放电时,收敛到完全相同的方程。
网络中的突触以随机的权重分布开始,并且权重根据一个非常简单的过程逐渐调整:将机器被输入数据(例如图像或声音)时生成的神经放电模式与输入关闭时发生的随机放电活动进行比较。
每个虚拟突触都跟踪这两组统计数据。如果它连接的神经元在数据驱动时比随机放电时更频繁地以接近的顺序放电,则突触的权重会增加与差异成正比的量。但是,如果两个神经元在随机放电期间比数据驱动的放电更频繁地一起放电,则连接它们的突触太厚,因此会被削弱。
最常用的 Boltzmann 机的版本在“训练”时效果最佳,即一次一层地输入数千个数据示例。首先,网络的底层接收代表像素化图像或多音调声音的原始数据,就像视网膜细胞一样,神经元会在检测到数据块中的对比度(例如从亮到暗的切换)时放电。放电也可能触发连接的神经元放电,具体取决于它们之间突触的权重。随着成对虚拟神经元的放电与背景放电统计数据反复比较,神经元之间有意义的关系会逐渐建立和加强。突触的权重被磨练,图像或声音类别根深蒂固地连接在一起。每个后续层都以相同的方式训练,使用来自下层的输入数据。
如果将汽车的图片输入到经过训练可以检测图像中特定物体的神经网络中,则如果它检测到对比度(这将指示边缘或端点),则较低层会放电。这些神经元的信号会传递到高层神经元,这些神经元会检测角、车轮部件等等。在顶层,只有当图像包含汽车时才会放电的神经元。
纽约大学数据科学中心主任 Yann LeCun 说:“神奇的事情是它能够泛化。”“如果你给它看一辆它以前从未见过的汽车,如果它与你在训练期间给它看的所有汽车有一些共同的形状或外观,它就可以确定这是一辆汽车。”
由于 Hinton 的逐层训练方案、使用称为图形处理单元的高速计算机芯片以及可用于训练的图像和录音的爆炸式增长,神经网络最近取得了长足的进步。这些网络现在可以正确识别正常人类英语对话中大约 88% 的单词,而普通人类听众的识别率约为 96%。他们可以以类似的精度识别图像中的汽车和数千种其他物体,并且在过去三年中已经主导了机器学习竞赛。
构建大脑
没有人知道如何直接确定大脑的学习规则,但是大脑的行为与 Boltzmann 机的行为之间存在许多高度暗示性的相似之处。
两者都可以在没有其他监督的情况下学习,除了数据中自然存在的模式。“你不会得到数百万个例子,让你母亲告诉你图像中的内容,”Hinton 说。“你必须在没有人告诉你这些东西是什么的情况下学习识别事物。然后在你学习了类别之后,人们会告诉你这些类别的名称。因此,孩子们会了解狗和猫,然后他们会了解到狗被称为“狗”,猫被称为“猫”。”
成年大脑不如青少年大脑具有可塑性,就像用 100,000 张汽车图像训练的 Boltzmann 机在看到另一张汽车图像后不会发生太大变化一样:它的突触已经具有对汽车进行分类的正确权重。然而,学习永无止境。新信息仍然可以整合到大脑和 Boltzmann 机的结构中。
在过去 5 到 10 年里,对睡眠期间大脑活动的研究提供了一些直接证据,表明大脑采用类似 Boltzmann 的学习算法,以便将新信息和记忆整合到其结构中。神经科学家早就知道睡眠在记忆巩固中起着重要作用,有助于整合新学习的信息。1995 年,Hinton 和同事提出睡眠与算法的基线成分具有相同的功能,即在没有输入的情况下神经活动的速率。
Hinton 说:“你在睡眠期间所做的是弄清楚基本速率。”“你正在弄清楚如果系统自行运行,这些神经元的相关性会如何。然后,如果神经元的相关性比这更高,则增加它们之间的权重。如果它们的相关性比这低,则减少它们之间的权重。”
Sejnowski 说,在突触的层面上,“这种算法可以通过几种不同的方式来实现”,他今年早些时候成为奥巴马政府新大脑计划的顾问,这是一项耗资 1 亿美元的研究工作,旨在开发研究大脑的新技术。
他说,大脑运行玻尔兹曼算法最简单的方式是在白天加强突触,然后在夜晚削弱它们。朱利奥·托诺尼,威斯康星大学麦迪逊分校睡眠与意识中心的负责人,发现突触内部的基因表达变化支持这一假设:参与突触生长的基因在白天更加活跃,而参与突触修剪的基因在睡眠期间更加活跃。
塞伊诺夫斯基说,或者,“基线可能在睡眠期间计算,并在白天根据它进行更改”。他的实验室正在建立突触及其维持的网络的详细计算机模型,以确定它们如何在清醒和睡眠期间收集放电统计数据,以及何时更改突触强度以反映差异。
大脑复杂性
类玻尔兹曼算法可能只是大脑用来调整其突触的众多算法之一。在 20 世纪 90 年代,几个独立的研究小组开发了一个理论模型,说明视觉系统如何有效地编码冲击视网膜的信息洪流。该理论认为,一种类似于图像压缩的称为“稀疏编码”的过程发生在视觉皮层的最低层,使得视觉系统的后期阶段更加有效。
该模型的预测正逐渐通过越来越严格的实验测试。在五月份发表在 PLOS 计算生物学杂志上的一篇论文中,英国和澳大利亚的计算神经科学家发现,当使用由 Hinton 于 2002 年发明的称为专家乘积的稀疏编码算法的神经网络暴露于与活猫相同的异常视觉数据时(例如,猫和神经网络都只看到条纹图像),它们的神经元会产生几乎完全相同的异常。
加州大学伯克利分校红木理论神经科学中心主任、计算神经科学家布鲁诺·奥尔肖森帮助开发了稀疏编码理论,他说:“当信息到达视觉皮层时,我们认为大脑将其表示为稀疏代码。所以,这就像你的后脑勺里坐着一台玻尔兹曼机器,试图学习稀疏代码元素之间的关系。”
奥尔肖森和他的研究团队最近使用视觉皮层较高层的神经网络模型来展示大脑如何能够在图像运动的情况下创建对视觉输入的稳定感知。在另一项最近的研究中,他们发现,观看黑白电影的猫的整个视觉皮层中的神经元放电活动可以用玻尔兹曼机很好地描述。
这项工作的一个潜在应用是在构建神经假体方面,例如人工视网膜。奥尔肖森说,通过了解“大脑中信息的格式化方式,你就会知道如何刺激大脑,让某人认为他们正在看到图像”。
塞伊诺夫斯基说,了解突触生长和收缩的算法将使研究人员能够改变它们,以研究网络功能如何崩溃。他说:“然后你可以将其与人类已知的疾病进行比较。几乎所有的精神障碍都可以追溯到突触问题。因此,如果我们能够更好地了解突触,我们将能够了解大脑的正常功能,它如何处理信息,如何学习,以及当你患有精神分裂症等疾病时会发生什么。”
理解大脑的神经网络方法与瑞士神经科学家亨利·马克拉姆备受炒作的计划——使用超级计算机创建人脑的精确模拟——人类大脑项目形成了鲜明对比。与 Hinton 从高度简化的模型开始并逐渐使其复杂化的方法不同,Markram 希望从一开始就尽可能多地包括细节,直到单个分子,希望完整的功能和意识能够涌现出来。
该项目于 1 月份从欧盟委员会获得了 13 亿美元的资助,但 Hinton 认为,由于有太多无人理解的活动部件,这种大型模拟将会失败。(Markram 没有回应置评请求。)
更普遍地说,Hinton 认为大脑的运作方式不能仅从大脑成像研究的细节中推断出来;相反,这些数据应该用于构建和完善算法。他说:“你必须进行理论思考,探索学习算法的空间,才能提出像玻尔兹曼机这样的理论。” 对于 Hinton 来说,下一步是开发用于训练更多类似大脑的神经网络的算法,例如那些在层内而不仅仅是层之间连接神经元的突触的算法。他说:“一个主要目标是了解在每个阶段进行更复杂的计算在计算上能获得什么。”
该假设是,更多的互连性可以实现更强的反馈回路,根据奥尔肖森的说法,这很可能是大脑如何实现“感知填充”的方式,即更高层基于部分信息对较低层正在感知的内容做出推断。“这与意识密切相关,”他说。
当然,人脑比任何模型都要复杂得多;它更大、更密集、更高效、更互连、拥有更复杂的神经元,并且同时处理多个算法。奥尔肖森估计,我们只了解视觉皮层中 15% 的活动。尽管这些模型正在取得进展,但神经科学仍然“有点像牛顿之前的物理学”,他说。尽管如此,他相信,基于这些算法构建的过程可能有一天会解释大脑的终极谜团——感官数据如何转化为对现实的主观意识。奥尔肖森说,意识“是从一个非常、非常复杂的玻尔兹曼机中涌现出来的”。
经Quanta Magazine许可转载,Quanta Magazine 是SimonsFoundation.org的一个编辑独立部门,其使命是通过报道数学以及物理和生命科学领域的研究进展和趋势来增进公众对科学的理解。