本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定反映《大众科学》的观点
我总是对聪明人相信我认为荒谬的事情感到惊讶。例如，遗传学家和美国国立卫生研究院院长弗朗西斯·柯林斯，他相信耶稣从死里复活。或者人工智能理论家埃利泽·尤德科夫斯基，他相信机器……好吧，我应该让尤德科夫斯基说说他相信什么。我在2008年在Bloggingheads.tv上采访了他，结果不太好，因为我以为他是奇点大师雷·库兹韦尔的信徒。从未上过大学的尤德科夫斯基不是任何人的追随者。他是一位顽固的原创智能理论家，包括人类智能和人工智能。他的著作（例如这篇论文，它帮助我理解，或者给了我理解的错觉，贝叶斯定理）散发出自学者的傲慢，棱角未被正规教育磨平，但这正是他的魅力所在。即使他很烦人，尤德科夫斯基也很有趣、新鲜、具有挑衅性。有关他的背景和兴趣的更多信息，请参阅他的个人网站或机器智能研究所的网站，该研究所是他共同创立的。并阅读以下问答，其中包括一个奖励：他妻子布里安妮的评论。
霍根：当有人在聚会上问你是做什么的时，你会怎么告诉她？
尤德科夫斯基：取决于场合：“我是一名决策理论家”，或者“我是机器智能研究所的联合创始人”，或者如果不是那种聚会，我会谈论我的小说。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
霍根：你最喜欢的AI电影是什么？为什么？
尤德科夫斯基：电影中的人工智能普遍都很糟糕。机械姬是尽可能接近这个规则的例外，并且尽可能现实。
霍根：大学被高估了吗？
尤德科夫斯基：如果大学被<0xC2><0xA0>低估了，那将是非常令人惊讶的，考虑到认可大学的社会期望偏差。就我所知，没有理由不相信经济学家所说的话，即大学主要已成为一种地位商品，并且以前为增加学生贷款数量所做的努力只是增加了大学的成本和研究生的债务负担。
霍根：你为什么写小说？
尤德科夫斯基：用Wondermark的话来说，“嗯，首先我尝试不制作它，但后来发现那行不通。”
除此之外，非小说传达知识，小说传达<0xC2><0xA0>体验。如果您想理解贝叶斯规则的证明，我可以使用图表。<0xC2><0xA0>如果我想让您<0xC2><0xA0>感受<0xC2><0xA0>使用<0xC2><0xA0>贝叶斯推理是什么感觉，我必须写一个故事，其中某个角色正在这样做。
霍根：你在任何方面是虔诚的吗？
尤德科夫斯基：不。<0xC2><0xA0>当你犯错时，你需要避免陷入防御的诱惑，试图找到某种你<0xC2><0xA0>有点<0xC2><0xA0>正确的方法，在乌云中寻找一线希望。<0xC2><0xA0>更明智的做法是直接说“哎呀”，承认你一点都不对，一口吞下整颗苦药，然后继续你的生活。<0xC2><0xA0>这就是人类应该对宗教采取的态度。
霍根：如果你是世界之王，你的“待办事项”清单的首位是什么？
尤德科夫斯基：我曾经说过，“自由主义者的考验是，想象你获得了权力，你的第一个想法是你将通过的法律，还是你将废除的法律。”<0xC2><0xA0>我不是一个绝对的自由主义者，因为并非我想要的一切都是关于废除法律和放宽限制。<0xC2><0xA0>但是，当我想到这样的案例时，我设想试图让世界达到这样一种状态，即某个失业人员可以提出开车送你上班20分钟，获得五美元的报酬，然后不会发生其他不好的事情。<0xC2><0xA0>他们不会被逐步取消失业救济金，不必注册商业执照，失去医疗保险，接受审计，让他们的律师证明符合OSHA规则，或其他什么。<0xC2><0xA0>他们只是增加了5美元。
我想努力达到这样的程度，即雇用某人再次像1900年那样容易。<0xC2><0xA0>我认为现在设置一些安全网是有道理的，但我会尝试构建每个安全网，使其不会阻碍或增加文书工作，以至于一个简单的人再次成为经济一部分的事件。
我会尝试做所有聪明经济学家一段时间以来一直在呼吁但几乎没有国家做过的事情。<0xC2><0xA0>用消费税和土地价值税代替投资税和所得税。<0xC2><0xA0>用负工资税代替最低工资。<0xC2><0xA0>在中央银行实施名义GDP水平目标制度，让“大而不能倒”的企业破产。<0xC2><0xA0>要求专利法中的败诉方支付费用，并将版权恢复到28年。<0xC2><0xA0>消除住房建设的障碍。<0xC2><0xA0>复制并粘贴新加坡的医疗保健设置。<0xC2><0xA0>复制并粘贴爱沙尼亚的电子政务设置。<0xC2><0xA0>尝试用特定的、个人的决策者取代委员会和繁琐的程序规定，这些决策者的决定将被公开记录并接受问责。<0xC2><0xA0>运行不同政府设置的对照试验，并实际关注结果。<0xC2><0xA0>我可以连续说几个小时。
从两亿年后的角度来看，所有这些可能都无关紧要。<0xC2><0xA0>但是，由此产生的经济繁荣所产生的良好意愿可能会在我想弄清楚人工智能到底应该怎么做的时候，为我的政府赢得好评。<0xC2><0xA0>我想，显而易见的事情是在某个岛屿上开展一个曼哈顿计划，薪酬与顶级对冲基金相当，在那里人们可以合作研究通用人工智能问题的各个部分，而不会自动将他们的工作发表让我们更接近世界末日。<0xC2><0xA0>我们仍然会在未知的最后期限前工作，而且到那时我不会感到放松。<0xC2><0xA0>除非我们假设我真的拥有魔法力量或一个坚不可摧的政权，否则我不明白我合理颁布的任何法律如何在计算机已经无处不在的星球上长期推迟人工智能的时间表。
首先，所有这一切都是一个不可能的思想实验，我看到在现实生活中它发生的希望几乎为零。
霍根：贝叶斯定理有什么了不起的？
尤德科夫斯基：首先，贝叶斯定理非常深刻。<0xC2><0xA0>因此，很难对此给出简短的答案。
我可能会回答说，贝叶斯定理有点像认知的热力学第二定律。<0xC2><0xA0>如果您获得了一个校准良好的后验信念，即某个命题有99%的可能性，无论该命题是在超市有牛奶还是全球变暖是人为造成的，那么您<0xC2><0xA0>一定<0xC2><0xA0>处理了<0xC2><0xA0>足够好的先验和足够强的证据的某种组合。<0xC2><0xA0>这不是规范性的要求，而是一条定律。<0xC2><0xA0>就像汽车<0xC2><0xA0>不能<0xC2><0xA0>在不耗散熵的情况下运行一样，你根本<0xC2><0xA0>不会<0xC2><0xA0>得到<0xC2><0xA0>世界的准确地图，而没有一个在内部某处埋藏着<0xC2><0xA0>贝叶斯结构<0xC2><0xA0>的过程，即使该过程没有明确表示概率或似然比。<0xC2><0xA0>你拥有足够强的证据和一个足够好的先验，否则你不会到达那里。
在个人层面上，我认为贝叶斯能为我们提供的最主要的启发仅仅是<0xC2><0xA0>存在<0xC2><0xA0>规则，<0xC2><0xA0>存在<0xC2><0xA0>铁律来支配一种思维模式是否能有效地描绘现实。<0xC2><0xA0>摩门教徒被告知，他们会通过感受到心中的灼热感来了解摩门教书的真理。<0xC2><0xA0>让我们保守地将摩门教书的先验概率设定为十亿分之一（反对）。<0xC2><0xA0>然后我们询问，假设摩门教书是假的，有人在被告知期待这种感觉后会感到心中灼热的可能性。<0xC2><0xA0>如果您理解贝叶斯规则，您会立即看到证据的不可能性与它试图提升的假设的不可能性是不相称的。<0xC2><0xA0>您甚至不必编造数字就能看出数字加起来不对——正如菲利普·泰特洛克在他的超级预测者研究中发现的那样，超级预测者通常了解贝叶斯规则，但他们很少编造具体的概率。<0xC2><0xA0>在某种程度上，如果你只是在直觉层面上意识到<0xC2><0xA0>存在数学，<0xC2><0xA0>存在<0xC2><0xA0>一些<0xC2><0xA0>数学计算，你可以得出证据的确切强度以及它是否足以提升假设的先验不可能性，那么你就更难被愚弄。<0xC2><0xA0>你不能只是编造东西并相信你想相信的东西，因为那<0xC2><0xA0>行不通。[另见“贝叶斯规则：指南。”]
霍根：<0xC2><0xA0>贝叶斯大脑假说<0xC2><0xA0>给你留下深刻印象了吗？
尤德科夫斯基：我认为这场辩论中的一些人可能是在各说各话。<0xC2><0xA0>询问大脑是否是贝叶斯算法就像询问本田雅阁是否使用卡诺热机运行一样。<0xC2><0xA0>如果一个人试图说，“每辆汽车都是需要燃料并耗散废热的热力学过程”，而另一个人听到的是，“如果你画一个卡诺热机的图表并将其展示给机械师，他们应该同意它看起来像本田雅阁的内部”，那么你就会看到一些火花。
当有些人打开内燃机并找到气缸时，他们也会非常兴奋，并说：“我敢打赌，这会将热量转化为压力，并帮助推动汽车前进！”<0xC2><0xA0>他们是对的，但随后你会发现其他人说，“你只关注汽车零件库中一个简单的组件；催化转化器也很重要，而这在你的卡诺热机图表中没有出现。<0xC2><0xA0>为什么，有时我们运行空调，它的运行方式与你所说的热机的工作方式完全相反。”
我认为，那些采取优越态度并说，“你显然不熟悉现代汽车维修；你需要一个包含各种方法的工具箱来制造汽车发动机，例如火花塞和催化转化器，而不仅仅是你一直谈论的这些<0xC2><0xA0>热力学过程”的人，会错过一个关键的抽象层次，这不会让人感到惊讶。
但是，如果您想知道大脑是否<0xC2><0xA0>字面上<0xC2><0xA0>是一个贝叶斯引擎，而不是<0xC2><0xA0>做我们可以用贝叶斯方式理解其性质的认知工作，<0xC2><0xA0>那么我的猜测是“当然不是”。<0xC2><0xA0>该引擎中可能有一些令人兴奋的贝叶斯气缸，但更多的是看起来像奇怪的临时安全带和空调。<0xC2><0xA0>所有这些都不会改变这样一个事实，即要根据感官证据正确识别苹果，您需要做一些事情，这些事情<0xC2><0xA0>最终可以解释为<0xC2><0xA0>基于<0xC2><0xA0>可以学习苹果概念的归纳先验，并根据区分苹果和非苹果的证据进行更新。
霍根：你能太理性吗？
尤德科夫斯基：你可能会遇到我们所说的“不良理性的低谷”。<0xC2><0xA0>如果您以前在多种方面是非理性的，这些方面相互平衡或抵消，那么变得<0xC2><0xA0>半理性可能会使您比以前更糟。<0xC2><0xA0>如果您选择错误的地点首先投入您的技能点，那么变得越来越理性可能会使您变得越来越糟。
但我不建议人们过多地纠结于这种可能性。<0xC2><0xA0>以我的经验，那些到处谈论巧妙地选择变得不理性的人给我的印象是，嗯，坦率地说，在这方面相当愚蠢。<0xC2><0xA0>很难想出一个现实的、非人为的生活情境，在其中您<0xC2><0xA0>知道<0xC2><0xA0>现在是变得不理性的好时机，而您<0xC2><0xA0>不<0xC2><0xA0>已经知道真正的答案。<0xC2><0xA0>我认为在现实生活中，您只需尽可能地告诉自己真相，而不要试图变得聪明。
在完全不同的问题上，理想的贝叶斯代理人可能最终与从趣味理论的角度过上最好的生活不相容。<0xC2><0xA0>但是，距离这成为比我们当前的自我毁灭性更大的问题还很遥远、遥远、遥远。
霍根：你对奇点的愿景与雷·库兹韦尔的愿景有何不同？
尤德科夫斯基
- 我认为你不能用摩尔定律来预测人工智能的时间。<0xC2><0xA0>人工智能是一个软件问题。
- 我认为人类和机器的“融合”不太可能是第一个超人智能的来源。<0xC2><0xA0>在第一辆汽车出现一个世纪后，我们才开始在马身上安装机器人外骨骼，而真正的汽车仍然比它快。
- 我不期望第一个强大的AI会基于神经科学发现的算法，就像第一架飞机看起来像鸟一样。
- 我认为纳米-信息-生物“融合”是不太可能、不可避免、定义明确或可取的。
- 我认为1930年至1970年之间的变化比1970年至2010年之间的变化更大。
- 我承认发达国家的生产力目前正在停滞不前。
- 我认为将摩尔定律的技术进步图表外推<0xC2><0xA0>到<0xC2><0xA0>您说它预测比人类更智能的人工智能的地步，这简直太奇怪了。<0xC2><0xA0>比人类更智能的人工智能打破了您的图表。
- 一些分析师，例如伊尔卡·图奥米，声称摩尔定律在2000年代破裂了。<0xC2><0xA0>我特别不怀疑这一点。
- 我唯一关心的关键技术门槛是人工智能，也就是人工智能软件，变得能够强大地自我改进的门槛。<0xC2><0xA0>我们没有关于朝着这个门槛迈进的图表，也不知道它在哪里（除了它不应该<0xC2><0xA0>远高于<0xC2><0xA0>人类水平，因为人类<0xC2><0xA0>可以从事计算机科学），所以它无法通过图表来预测时间，也不知道它是否临近，也不知道它是否遥远。<0xC2><0xA0>（无知意味着置信区间很宽，而不是确定某件事很遥远。）
- 我认为结果默认情况下不好——我认为结果可以变得好，但这将需要关键参与者可能没有直接动机去做的艰苦工作。<0xC2><0xA0>告诉人们我们正走在通往美好时代的默认轨迹上是错误的。
- 我认为“奇点”已成为一个手提箱词，其中包含太多相互不兼容的含义和细节，我已经停止使用它。
霍根：你认为你有机会成为超智能半机械人吗？
尤德科夫斯基：概率论的合取律指出，P(A&B) <= P(A) - A和B都发生的概率小于A单独发生的概率。<0xC2><0xA0>可以使人类为某些A&B分配P(A&B) > P(A)的实验条件被称为表现出“合取谬误” - 例如，在1982年，国际预测大会的专家为“俄罗斯入侵波兰，以及与苏联外交关系的完全破裂”分配了比另一组人为“与苏联外交关系的完全破裂”更高的概率。<0xC2><0xA0>同样，另一组人为“加利福尼亚州地震引发洪水，造成一千多人死亡”分配了比另一组人为“北美某地洪水造成一千多人死亡”更高的概率。<0xC2><0xA0>尽管添加额外的细节必然会使故事的可能性降低，<0xC2><0xA0>但它会使故事<0xC2><0xA0>听起来更可信。<0xC2><0xA0>我将理解这一点视为严肃未来主义的Pons Asinorum - 仔细权衡您添加到负担中的每个独立命题之间的区别，询问您是否可以独立于所有其他命题来支持该<0xC2><0xA0>细节，而不是编造一个精彩生动的故事。
我提到这一点是为了作为我对你的回复的背景，即，“你为什么要把‘半机械人’的细节附加到上面？<0xC2><0xA0>我不想成为半机械人。”<0xC2><0xA0>你必须小心地在事物上附加额外的细节。
霍根：你有可能获得永生吗？
尤德科夫斯基：什么，字面意义上的永生？<0xC2><0xA0>字面意义上的永生似乎很难。<0xC2><0xA0>要活得比几万亿年长得多，就需要我们在膨胀宇宙的预期命运方面是错误的。<0xC2><0xA0>要活得比，比如，古戈尔普勒克斯年更长，就需要我们在<0xC2><0xA0>物理定律的基本特征方面是错误的，<0xC2><0xA0>而不仅仅是细节。
即使一些更疯狂的猜测是正确的，并且我们的宇宙有可能孕育出婴儿宇宙，那也无法让我们获得字面意义上的永生。<0xC2><0xA0>要活过古戈尔普勒克斯年而不重复自己，你需要包含超过古戈尔元素的计算结构，而这些结构无法容纳在一个哈勃体积内。
而古戈尔普勒克斯根本不是无穷大。<0xC2><0xA0>用马丁·加德纳的话来说，格雷厄姆数仍然相对较小，因为大多数有限数都非常大。<0xC2><0xA0>如果你真的想让你大吃一惊，请查找快速增长的层次结构，好吧，永恒比那还要长。<0xC2><0xA0>只有奇怪且坦率地说令人恐惧的人择理论才会让你活得足够长，也许是有意识地或无意识地，注视着状态为100的最长运行停止图灵机的停止。
但我不确定注视着第100个繁忙的海狸数对我来说在深层情感层面上有多重要。<0xC2><0xA0>我对一百年后主观的自己有一些富有想象力的同情。<0xC2><0xA0>那个<0xC2><0xA0>我将能够同情他们未来一百年后的自己。<0xC2><0xA0>也许在某个时候，有人面临着他们未来的自己根本不存在的前景，他们可能会对此感到非常悲伤；但我不确定我能想象那个人会是谁。<0xC2><0xA0>“我想再活一天。<0xC2><0xA0>明天我仍然会想再活一天。<0xC2><0xA0>因此，我想永远活下去，通过对正整数的归纳法证明。”<0xC2><0xA0>即使我对仅仅是物理宇宙可容纳的寿命的渴望也是一种抽象的归纳渴望；并不是说我真的可以想象自己在一万亿年后。
霍根：我将奇点描述为“逃避现实的、伪科学的”幻想，它分散了我们对气候变化、战争、不平等和其他严重问题的注意力。为什么我错了？
尤德科夫斯基：因为你试图通过心理分析人来预测经验事实。<0xC2><0xA0>这永远行不通。
假设我们到了这样的地步，即人工智能足够聪明，可以做人类在使人工智能更智能方面所做的相同类型的工作；它可以调整自身，它可以从事计算机科学，它可以发明新的算法。<0xC2><0xA0>它可以自我改进。<0xC2><0xA0>在那之后会发生什么——它会变得更聪明，看到更多的改进，并迅速获得能力，直到达到某个非常高的极限吗？<0xC2><0xA0>还是没有什么令人兴奋的事情发生？
可能是，(A)，大小为delta的自我改进往往会使AI变得足够聪明，以至于它可以回去找到大小为k*delta的新的潜在自我改进，并且k大于1，并且这种情况持续足够长的时间，以至于出现了一系列快速的自我改进，导致了超级智能；I.J.古德称之为智能爆炸。<0xC2><0xA0>或者可能是，(B)，k小于1，或者所有像这样的制度都很小，不会导致超级智能，或者超级智能是不可能的，你会得到一个哑炮而不是爆炸。<0xC2><0xA0>哪个是真实的，A还是B？<0xC2><0xA0>如果你真的构建了一个特定智能水平的AI，并且它真的试图这样做，那么在<0xC2><0xA0>经验现实世界中<0xC2><0xA0>实际上会发生<0xC2><0xA0>一些事情，并且该事件将由关于算法和可实现改进的背景事实决定。
你<0xC2><0xA0>无法<0xC2><0xA0>通过心理分析人来获得关于该事件的可靠信息。<0xC2><0xA0>这正是贝叶斯定理告诉我们的，相当于试图在没有燃料的情况下运行汽车。<0xC2><0xA0>有些人无论计算机科学的隐藏变量的真实值如何都会逃避现实，因此观察到有些人逃避现实并不是强有力的证据，即使它可能让你感觉你想与某种信念脱离关系或什么的。
我认为，对理性的本质存在一种误解，即认为相信“没有壁橱里的地精”是理性的，因为相信壁橱里的地精是愚蠢的、不成熟的、过时的，是愚蠢的人相信的那种东西。<0xC2><0xA0>真正的原则是，你走进你的壁橱里看看。<0xC2><0xA0>因此，在可能存在壁橱里的地精的可能宇宙中，你最终会相信壁橱里的地精，而在没有壁橱里的地精的宇宙中，你最终会不相信壁橱里的地精。
试图通过壁橱门的缝隙偷看一眼，问一个问题，“如果以后你无法获得持续的认知投资回报，以至于试图改进自己的AI会失败，那么<0xC2><0xA0>现在宇宙中<0xC2><0xA0>会有什么不同的地方？<0xC2><0xA0>在这样的宇宙中，我们应该观察到哪些其他事实？”这很困难，但并非不可能。
因此，有人会说，例如，我们将只能将AI改进到人类水平，因为我们自己是人类，然后我们将无法将AI推过那个水平。<0xC2><0xA0>我认为，如果宇宙总体上看起来是这样的，那么我们也应该观察到，例如，在计算机象棋的硬件和软件投资中，超过人类水平的回报会递减，而事实上我们并没有观察到这种情况。<0xC2><0xA0>此外，自然选择不应该能够构建人类，爱因斯坦的母亲一定是一位非常出色的物理学家，等等。
有人会说，例如，获得更智能的算法应该需要越来越多的调整，而人类智能接近极限。<0xC2><0xA0>但这与人类智能的人类学记录不符；我们可以知道，产生改进的认知能力的脑部调整和突变的回报并没有递减。<0xC2><0xA0>我们知道这一点，因为种群遗传学表明，统计回报率非常低的突变根本不会进化到固定。
而且，人科动物绝对不需要比黑猩猩大得多的脑容量。<0xC2><0xA0>约翰·冯·诺伊曼的头部也没有比普通人的头部大得多。
从纯粹的实用层面来看，即使在散热方面，人类轴突传输信息的速率约为光速的百万分之一，大脑中的每次突触操作消耗的热量也约为300开尔文下不可逆二进制操作的最小散热量的百万倍，等等。<0xC2><0xA0>为什么认为大脑的软件比硬件更接近最优？<0xC2><0xA0>人类智能之所以优越，主要是因为它足以构建计算机的最低智能水平；如果有可能以更低的智能构建计算机，我们现在就会以那个智能水平进行对话。
但这并不是一场简单的辩论，对于详细的考虑，我会将人们指向我以前的一篇非正式论文《智能爆炸微观经济学》，不幸的是，它可能仍然是目前最好的来源。<0xC2><0xA0>但这些是人们必须提出的问题类型，以便尝试使用我们当前可访问的证据来推断我们是否会看到俗称的“AI FOOM”——是否存在一个扩展的制度，其中认知的增量改进，再投资于自我优化，会产生大于增量的进一步改进。
至于你关于机会成本的问题
存在一个可以想象的世界，其中没有智能爆炸，也没有超级智能。<0xC2><0xA0>或者，一个相关但逻辑上不同的命题，机器学习专家将不可避免地建立起来用于控制亚人类AI的技巧，可以很好地延续到人类等同和超人政权。<0xC2><0xA0>或者，道德内在主义是正确的，因此所有足够先进的AI都不可避免地是友好的。<0xC2><0xA0>在像这样的可想象的世界中，机器智能研究所的所有工作和担忧都变得徒劳，并且从一开始就没有必要，代表着<0xC2><0xA0>一些本来可以由对抗疟疾基金会购买的蚊帐的损失数量。
还存在一个可以想象的世界，你在其中努力工作<0xC2><0xA0>并与疟疾作斗争，你在其中努力工作并使碳排放量保持在不比现在更糟的水平（或使用地球工程来减轻已经犯下的错误）。<0xC2><0xA0>然后最终没有任何区别，因为你的文明未能解决AI对齐问题，而你用那些蚊帐拯救的所有孩子长大后却被睡梦中的纳米机器杀死。<0xC2><0xA0>（生动的细节警告！<0xC2><0xA0>我实际上不知道最后的时刻会是什么样子，也不知道是否会涉及到纳米机器。<0xC2><0xA0>但是，如果我们很乐意可视化在床上放置蚊帐是什么样子，然后我们拒绝以具体的细节可视化我们的文明未能实现AI对齐是什么样子，那也可能会误导我们。）
我认为，那些试图进行深思熟虑的慈善事业的人，例如Givewell的霍尔顿·卡诺夫斯基，会毫不犹豫地同意，这些<0xC2><0xA0>都是<0xC2><0xA0>我们宁愿不进入的<0xC2><0xA0>可想象的世界。<0xC2><0xA0>问题仅仅是<0xC2><0xA0>这两个世界中<0xC2><0xA0>哪个更可能成为我们应该避免的世界。<0xC2><0xA0>再次强调，理性的中心原则不是因为地精是愚蠢的和低声望的而不相信地精，或者因为地精令人兴奋或美丽而相信地精。<0xC2><0xA0>理性的中心原则是弄清楚哪些观察迹象和逻辑有效性可以区分<0xC2><0xA0>这两个<0xC2><0xA0>可想象的<0xC2><0xA0>世界中<0xC2><0xA0>哪个在隐喻意义上相当于相信地精。
我认为第一个世界是不太可能的，而第二个世界是可能的。<0xC2><0xA0>我意识到，在试图说服人们相信这一点时，我正在逆流而上，对抗一种永恒的常态感——这种感觉是，我们这个短暂而临时的文明仅仅存在了几十年，我们这个物种仅仅存在了进化和地质时间的一眨眼，这就是一切有意义的事物，并且肯定会永远持续下去。<0xC2><0xA0>但是，鉴于我确实认为第一个可想象的世界只是一个美好的梦想，因此应该清楚为什么我认为我们不应该忽视一个我们可预测地将在以后恐慌的问题。<0xC2><0xA0>机器智能研究所的任务是在今天进行研究，这些研究在30年后，人们会迫切希望30年前就开始进行。
霍根：你的妻子布里安妮相信奇点吗？
布里安妮回复：“如果有人问我是否‘相信奇点’，我会扬起眉毛，问他们是否‘相信’机器人卡车运输。这是一个有点奇怪的问题。我不太了解第一批机器人货运卡车会是什么样子，或者它们需要多长时间才能完全取代当代陆地运输。如果有一个文化上负载的手提箱术语‘机器人卡车主义’，其中包含许多特定的技术主张以及整个经济和社会范式，我就会犹豫是否说我‘相信’无人驾驶卡车。<0xC2><0xA0>我自信地预测，无人驾驶陆地运输将取代当代人工操作的陆地运输，因为如果没有任何真正奇怪的事情发生，这显然是我们前进的方向。同样，我自信地预测会发生智能爆炸。如果没有任何真正奇怪的事情发生，这显然是我们前进的方向。我不太确定‘奇点’手提箱中的其他项目。”（埃利泽补充道：“为了避免先入为主的结果，布里安妮在没有看到我的其他答案的情况下撰写了她的回复。<0xC2><0xA0>我们只是非常匹配。”）
霍根：我们可以在不了解我们的大脑如何工作的情况下创造出超级智能吗？
尤德科夫斯基：只能像你可以在不了解鸟类如何飞行的情况下制造飞机一样。<0xC2><0xA0>你不需要成为鸟类生物学专家，但与此同时，如果不意识到<0xC2><0xA0>一些<0xC2><0xA0>关于鸟类如何滑翔或用翅膀向下推空气的高级概念，就很难知道足够的信息来制造飞机。<0xC2><0xA0>这就是我首先写人类理性的原因——如果你将你对机器智能的掌握推过某个点，你就会不由自主地开始对人类如何也能更好地思考产生想法。
霍根：超级智能会想要什么？他们会拥有任何类似性欲的东西吗？
尤德科夫斯基：想象一下一个巨大的可能性空间，一个巨大的多维球体。<0xC2><0xA0>这就是心智设计空间，可能的认知算法的集合。<0xC2><0xA0>想象一下，在这个球体的底部附近，有一个小小的点，代表着所有曾经存在过的人类——这是一个小小的点，因为所有人类基本上都具有相同的大脑设计，包括大脑皮层、前额叶皮层、小脑、丘脑等等。<0xC2><0xA0>即使相对于黑猩猩的大脑设计，它也是保守的。<0xC2><0xA0>我们中的一些人在细微方面很奇怪，你可以说它是一个尖刺点，但尖刺与点本身在同一微小尺度上；无论你的神经类型有多么非典型，你都不会在不同的皮层算法上运行。
问“超级智能会想要什么”是一个错误的问题。超级智能不是住在河对岸的、具有迷人异国风俗的奇怪部落。<0xC2><0xA0>“人工智能”只是对<0xC2><0xA0>微小的人类点之外的整个可能性空间的名称。<0xC2><0xA0>有了足够的知识，您也许可以进入那个可能性空间，并有意识地拉出一个AI，它想要在人类想要的语言中具有简洁描述的事物，但这并不是因为这是那些异国情调的超级智能人自然想要的一种东西，而是因为您设法精确地指出了设计空间的一部分。
当涉及到追求<0xC2><0xA0>物质和能量之类的东西时，我们可能会<0xC2><0xA0>初步预期<0xC2><0xA0>部分而非完全的趋同<0xC2><0xA0>——似乎应该有许多、许多可能的超级智能，它们会工具性地想要物质和能量，以便服务于各种各样的终极偏好。<0xC2><0xA0>但即使在那里，一切都可能被特殊情况所推翻。<0xC2><0xA0>如果你不想被拆解成备用原子，如果你足够了解设计空间，你可以伸出手来，拉出一个<0xC2><0xA0>特定的<0xC2><0xA0>机器智能，它不想伤害你。
那么，对于你的关于性欲的第二个问题，答案是：如果 你确切地知道自己在做什么，并且 如果 你已经解决了构建能够稳定地渴望特定事物的人工智能的通用问题（随着它们自我改进），并且 如果 你已经解决了精确定位人工智能效用函数在那些对人类直觉来说看似非常简单的事情上的通用问题，并且 你甚至解决了更困难的问题，即使用特定类型的架构构建人工智能，在这种架构中，“发情”或“性让我快乐”首先是有意义的，那么你或许可以制造出一个人工智能，它被告知去观察人类，模拟人类 想要什么，挑选出模型中关于性欲的部分，然后也渴望并体验那种事物。
如果你对有机生物学和空气动力学有足够好的理解，你也可以制造出一架可以与鸟类交配的飞机。
我不认为这对莱特兄弟在早期来说是一件明智的事情。这样做绝对没有任何意义。
弄清楚如何深入设计空间，并从中提取出一个特殊的人工智能案例，它将缺乏分解我们以获取备用原子的默认工具性偏好，这似乎明智得多。
霍根： 我喜欢认为超智能生物会是非暴力的，因为它们会意识到暴力是愚蠢的。我天真吗？
尤德科夫斯基： 我认为是的。正如大卫·休谟可能会告诉你的那样，你正在犯一种类型错误，试图将“愚蠢”的谓词应用于代理的终极价值或效用函数。行为、选择、政策 在 给定 关于世界最终状态的某些偏好的情况下，可能是愚蠢的。如果你碰巧是一个拥有尚未完全计算出的元偏好的代理，你可能会有一个平台可以立足，并将对派生对象级偏好的特定猜测称为“愚蠢”。
一个回形针最大化器在对结果的偏好顺序中偏好包含更多回形针的结果，这不是在犯计算错误。它不是站在你自己的偏好框架内并选择公然错误的行动，也不是站在你的元偏好框架内并在弄错偏好什么。它计算出的答案与当你问“我 应该 做什么？”时你所问的问题不同。一个回形针最大化器只是输出导致预期回形针数量最多的行动。
致命的场景是一个既不爱你也不恨你的人工智能，因为你仍然是由它可以用于其他用途的原子构成的。博弈论，以及诸如囚徒困境中的合作等问题，并非在所有可能的情况下都会出现。特别是，当某些东西比你强大得多，以至于它可以为了备用原子而分解你，无论你尝试按下“合作”还是“背叛”时，它们都不会出现。超过那个阈值，要么你解决了制造出不想伤害你的东西的问题，否则你就已经输了。
霍根： 超智能会解决意识的“难题”吗？
尤德科夫斯基： 会的，并且事后看来，答案从我们的角度来看将显得令人尴尬地显而易见。
霍根： 超智能会拥有自由意志吗？
尤德科夫斯基： 会的，但它们不会有自由意志的幻觉。
霍根： 你的乌托邦是什么样的？
尤德科夫斯基： 我请读者参考我的非虚构作品《乐趣理论序列》，因为我至今尚未成功创作任何以乐趣理论最优世界为背景的小说。
延伸阅读: