在沉寂数十年后，人工智能（AI）突然变得出奇地强大。如果我们不非常小心，它可能会变得相当危险——甚至危险到对人类构成“生存风险”。
杰弗里·辛顿，作为更可信的“末日论者”之一，因为他曾在谷歌工作多年，并被称为“人工智能教父”，他多次警告说，这些威胁不仅仅是科幻小说。他说，例如：“很难看出如何阻止坏人利用[人工智能]做坏事。”
白宫、一些世界领导人和许多人工智能公司正在努力阻止这种情况发生，但他们的努力还不够。如果我们想确保人工智能不会造成不可弥补的损害，我们需要停止人工智能模型的开发，直到我们就人工智能安全进行适当的讨论。别无他法。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您将有助于确保有关塑造我们当今世界的发现和思想的具有影响力的故事的未来。
对于许多听到人工智能担忧的人来说，像ChatGPT、Bard和Claude 2这样的当今聊天机器人与统治世界的邪恶超级智能人工智能的潜力之间存在脱节。我们如何从这里到达那里？
关键思想是人工智能的指数级改进，这很可能很快达到超越人类智能的门槛。这种通用人工智能（AGI）通常被描述为在大多数或所有人认知任务（例如语言、问题解决、数学、推理和创造力）方面与人类一样好或更好的AI。一旦实现，AGI甚至将构建更智能的AI，并且速度比人类快得多。这意味着它将能够呈指数级地自我改进。当这种情况发生时，我们可能会经历一个“foom！”的时刻，即情报的极速增长，然后达到一些人所称的人工智能超级智能（ASI）。
ASI可以被认为是具有神力的AI。如果曾经存在的最聪明的人类可能拥有200的智商，那么ASI可能具有一百万或更高的智商（当然，任何人类创建的测试量表对于如此智能的实体都将毫无意义）。
AGI和ASI很可能能够构建超人机器人，这将成为它们的身体。无论这些机器人是由AI还是人类控制，至少，它们将改变我们在人类社会中所做的一切，并且在最坏的情况下，将被不择手段的政府和公司（或不择手段的AI）用来控制人类。
然而，更可能在近期发生的风险将不是失控的自主AI；相反，这将是人类将AGI/ASI用于恶意目的。“大国”竞争，例如美国和中国之间的竞争，以及已经存在的AI军备竞赛很容易达到自主AI接管几乎所有战略和战争方面的地步，并且人类完全失去对情节的控制。
正如所提到的，许多努力正在进行中，以防止危险的AI情景。白宫在11月发布了一项影响深远的行政命令，使联邦政府能够在许多领域对AI做出回应。世界领导人在英国会面讨论AI安全，并发布了布莱切利宣言，该宣言启动了一项国际进程。像OpenAI这样的行业领导者已经启动了超级对齐倡议和前沿模型论坛。OpenAI和Anthropic（OpenAI前雇员创立的竞争对手）的创建专门关注更安全的AI。
但是，这些努力都无法实现其使AGI安全的目标。
我们现在知道，对于所谓的AI的“控制问题”或“对齐问题”，没有解决方案。计算机科学教授罗曼·扬波尔斯基在2022年网络安全与移动性杂志的一篇论文中详细说明了原因。他的论点集中在AI的工作原理以及对其进行预测和验证上——即使对于今天的AI来说，这也是几乎不可能的，今天的AI通常被描述为“黑匣子”，更不用说地平线上的超级智能AI了。 他发现，我们现在无法理解AI如何运作，也无法预测其未来的行动，即使AI离超级智能还差得很远，这扼杀了控制这项技术的任何希望，因为它变得越来越智能。最重要的是，随着AI趋向AGI/ASI，对于区区人类来说，AI将越来越难以理解，因此也无法控制。
想象我们可以理解AGI/ASI，更不用说控制它，就像认为蜘蛛网的一根丝可以束缚哥斯拉一样。我们可能开发的任何解决方案都将只是概率性的，而不是万无一失的。随着AGI可能在本质上“foom”地进入超级智能，我们不能接受概率性解决方案，因为AI将非常聪明，它会利用任何微小的漏洞，无论多么小。（“foom”是否已经发生？关于Open AI在11月发生的离奇戏剧之后的“Q*”的暗示性报道表明，foom可能已经成为现实。）
如果泄漏的解决方案是我们永远拥有的全部，那么从行政命令到行业标准，所有创建“更安全AI”的努力都相当于支持不负责任地开发功能更强大的AI，其观点是有人会在某个地方及时找到解决方案。
但是，如果正如我在此处描述的逻辑一样，真正的解决方案永远不会到来呢？那么我们将召唤出恶魔，却无力将恶魔送回它来的地方。
在与OpenAI的AI安全主管Jan Leike关于这些问题的对话中。我询问了鉴于风险的严重性，是否需要基本上完美的AI安全解决方案，他回答说：“现实世界中没有‘完美’，但有‘足够好’和‘不够好’。确切的门槛取决于技术如何发展。”
我问他，如果在控制问题的任何强大（概率性）解决方案出现之前“foom”发生会怎么样。他告诉我，“你已经知道这个问题的答案了。”
在我看来，从这一逻辑链中得出的明确结论是，我们需要现在在全球范围内暂停“前沿”AI开发——开发像GPT 5这样的大型AI语言模型——同时我们就AI安全进行集体辩论。
扬波尔斯基和我就这些问题进行过友好的辩论。虽然他同意，使AI与人类价值观和目标对齐只能有概率性解决方案（他确实写了关于这个问题的论文），但他认为这可能仍然比什么都没有好。他告诉我，他认为寻找能够产生对齐和可控AI的解决方案的努力正在从1%的机会转变为可能2%的机会。
我分享了我的观点，即似乎更有可能从AGI对齐的万亿分之一的机会变为万亿分之二的机会。
他回应说：“所以你是在告诉我还有机会。”
这很可能是人类有史以来最重要的对话。让我们现在开始吧。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表《大众科学》的观点。