本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定代表《大众科学》的观点
编者注：“塌落的墙”会议是由“塌落的墙”基金会组织的年度全球性聚会，汇集了来自 80 个国家的具有前瞻性思维的个人。每年 11 月 9 日——柏林墙倒塌的周年纪念日——世界顶尖的 20 位科学家应邀来到柏林，展示他们当前的突破性研究。会议的目的是解决两个问题：接下来要推倒的墙是什么？这将如何改变我们的生活？以下文章的作者将在今年的“塌落的墙”聚会上发言。
小时候，我想最大限度地扩大我对世界的影响，所以我决定构建一个可以自我改进的人工智能，它可以学习变得比我聪明得多。这将使我能够退休，并让人工智能解决所有我无法解决的问题——并以人类无法实现的方式殖民宇宙，扩大智能的领域。
所以我学习了数学和计算机。我极具雄心的 1987 年毕业论文描述了关于元学习程序的首个具体研究，这些程序不仅学习解决一些问题，而且还学习改进他们自己的学习算法，仅受可计算性限制，以通过递归的自我改进来实现超级智能。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们今天世界的发现和想法的具有影响力的故事的未来。
我仍然在为此努力，但现在更多人对此感兴趣。为什么？因为我们在实现这一目标的过程中创造的方法现在正在渗透到现代世界——一半的人类可以使用，每天使用数十亿次。
截至 2017 年 8 月，现有的五家最有价值的上市公司是苹果、谷歌、微软、脸书和亚马逊。它们都在大量使用自 1990 年代初期以来在我在德国和瑞士的实验室开发的深度学习神经网络——特别是长短期记忆网络或 LSTM，这在我和我的同事塞普·霍克雷特、菲利克斯·格尔斯、亚历克斯·格雷夫斯和其他由欧洲纳税人资助的杰出学生和博士后撰写的几篇论文中有所描述。起初，这样的 LSTM 是愚蠢的。它一无所知。但它可以从经验中学习。它有点受到人类皮层的启发，人类皮层的超过 150 亿个神经元平均与 10,000 个其他神经元相连。输入神经元将数据（声音、视觉、疼痛）馈送到其余部分。输出神经元触发肌肉。思考神经元隐藏在两者之间。所有神经元都通过改变定义神经元之间相互影响强度的连接强度来学习。
我们的 LSTM 情况类似，它是一种人工循环神经网络 (RNN)，在众多应用中优于以前的方法。 LSTM 学习控制机器人、分析图像、总结文档、识别视频和手写、运行聊天机器人、预测疾病和点击率以及股票市场、创作音乐等等。 LSTM 已成为现在所谓的深度学习的基础，特别是对于顺序数据（请注意，大多数真实世界的数据都是顺序的）。
2015 年，LSTM 大大改进了谷歌的语音识别，现在已应用于超过 20 亿部安卓手机。 LSTM 也是自 2016 年以来使用的新型、更出色的谷歌翻译服务的核心。 LSTM 也存在于苹果的 QuickType 和 Siri 中，几乎覆盖 10 亿部 iPhone。 LSTM 还创建了亚马逊 Alexa 的口语答案。
截至 2016 年，谷歌所有数据中心中用于推理的惊人计算能力中，几乎有 30% 用于 LSTM。截至 2017 年，脸书每天使用 LSTM 进行高达 45 亿次的翻译——每秒超过 50,000 次。您可能一直在使用 LSTM。但我们的其他深度学习算法现在也已提供给数十亿用户。
我们将我们基于 RNN 的方法称为“通用深度学习”，以区别于由伊瓦赫年科和拉帕（1965 年）半个多世纪前在乌克兰（当时是苏联的一部分）开创的多层前馈神经网络 (FNN) 中的传统深度学习。与 FNN 不同，LSTM 等 RNN 具有通用、并行顺序计算架构。 RNN 对于更受限制的 FNN 来说，就像通用计算机对于仅仅是计算器一样。
到 1990 年代初期，我们（最初是无监督的）深度 RNN 可以学习解决许多以前无法学习的任务。但这仅仅是开始。每五年，计算机的性价比大约提高 10 倍。这种趋势比摩尔定律还要古老；自从康拉德·楚泽在 1935-1941 年期间建造了第一台可工作的程序控制计算机以来，它就一直存在，该计算机每秒可以执行大约一次基本运算。今天，75 年后，计算成本降低了约一百万亿倍。 LSTM 从这种加速中获益匪浅。
今天最大的 LSTM 大约有十亿个连接。推断这一趋势，在 25 年内，我们应该拥有相当便宜的、人类皮层大小的 LSTM，它具有超过 100,000 亿个电子连接，这比生物连接快得多。几十年后，我们可能会拥有廉价的计算机，其原始计算能力相当于地球上 100 亿人脑的总和，而这些大脑加起来可能每秒执行不超过 1030次有意义的基本运算。而布雷曼极限（1982 年）对于 1 公斤计算基质来说仍然比这大 1020 倍以上。上述趋势在本世纪之前不会接近这个极限，尽管这仍然“很快”——一个世纪只是人类文明存在 10,000 年的 1%。
然而，LSTM 本身是一种监督方法，因此不足以实现真正的 AI，即在没有老师的情况下学习解决最初未知环境中的各种问题。这就是为什么三十年来我一直在发表关于更通用的 AI 的文章。
自 1990 年以来，我的一个特别关注点是无监督 AI，它们表现出我称之为“人工好奇心”和创造力的东西。他们发明自己的目标和实验，以弄清楚世界如何运作，以及可以在其中做什么。此类 AI 可以使用 LSTM 作为子模块，学习预测行动的后果。他们不像奴隶一样模仿人类老师，而是从不断创造和解决自己新的、以前无法解决的问题中获得奖励，有点像玩耍的孩子，在此过程中变得越来越通用的问题解决者（流行语：PowerPlay，2011 年）。我们已经基于此构建了简单的“人工科学家”。
从这项工作中推断，我认为在不久的将来，我们将拥有一个 AI，它会逐步学习变得像小动物一样聪明——好奇地、创造性地、持续地学习计划和推理，并将各种各样的问题分解为可以快速解决（或已经解决）的子问题。在开发出猴子水平的 AI 后不久，我们可能会拥有人类水平的 AI，其应用将真正无限。
这不会止步于此。许多发明自己目标的好奇 AI 将迅速改进自己，仅受可计算性和物理学的基本限制。他们会做什么？太空对人类来说是充满敌意的，但对适当设计的机器人来说是友好的，并且提供了比我们薄薄的生物圈更多的资源，生物圈接收到的太阳光不到十亿分之一。虽然有些人工智能将继续对生命着迷，至少在他们没有完全理解生命之前，但大多数人工智能将对太空中机器人和软件生命令人难以置信的新机遇更感兴趣。通过小行星带及其他地区无数的自我复制机器人工厂，它们将改造太阳系，然后在几十万年内改造整个银河系，并在数十亿年内改造可到达宇宙的其余部分，而唯一阻碍它们的是光速限制。（人工智能或其部分很可能通过无线电从发射器传输到接收器——尽管部署这些设备将需要相当长的时间。）
这将与 20 世纪科幻小说中描述的场景截然不同，这些小说也以银河帝国和智能人工智能为特色。大多数小说的情节都非常以人为中心，因此不切实际。例如，为了使银河系中的远距离与短暂的人类寿命相容，科幻小说作家发明了物理上不可能的技术，例如曲速引擎。然而，不断扩张的人工智能领域不会受到物理速度限制的任何问题。由于宇宙将继续存在许多倍于其当前 138 亿年的年龄，因此可能有足够的时间到达宇宙的各个角落。
许多科幻小说都以单个人工智能统治一切为特色。更现实的期望是，会存在种类繁多的 AI，它们试图优化各种部分冲突（且快速演变）的效用函数，其中许多效用函数是自动生成的（我的实验室在刚刚结束的千年里已经进化出了效用函数），其中每个 AI 都在不断努力生存并适应 AI 生态系统中快速变化的生态位，这些生态位由超出我们当前想象的激烈竞争和协作驱动。
有些人可能希望通过大脑扫描和“意识上传”到虚拟现实或机器人中，成为这些生态系统中不朽的一部分，这是一个自 1960 年代以来在小说中讨论的物理上合理的想法。然而，为了在快速发展的 AI 生态系统中竞争，上传的人类意识最终将不得不改变到面目全非，在此过程中变成非常不同的东西。
因此，人类不会在智能在宇宙中的传播中发挥重要作用。但这没关系。不要将人类视为造物的王冠。相反，将人类文明视为一个更宏大计划的一部分，是宇宙走向更高复杂性的道路上的重要一步（但不是最后一步）。现在看来，宇宙已准备好迈出下一步，这一步堪比 35 亿多年前生命的诞生。
这不仅仅是又一次工业革命。这是一个超越人类甚至生物学的新事物。有幸见证它的开始，并为其贡献一份力量。
“塌落的墙”会议由德国联邦教育和研究部、亥姆霍兹协会、罗伯特·博世基金会和柏林参议院资助。它得到了来自众多国际一流大学和研究机构以及基金会、公司、知名人士和非政府组织的支持和建议。