“这种东西实际上可能比人类更聪明……我以前认为这还很遥远……显然，我现在不这么认为了，”谷歌顶尖人工智能科学家之一，也被称为“人工智能教父”的杰弗里·辛顿在四月份辞职后说，以便他可以警告人们这项技术的危险。
他并不是唯一担心的人。2023年对人工智能专家的调查发现，36%的人担心人工智能的发展可能导致“核弹级灾难”。近28,000人签署了生命未来研究所撰写的公开信，其中包括史蒂夫·沃兹尼亚克、埃隆·马斯克、多家人工智能公司的首席执行官和许多其他著名的技术专家，呼吁暂停六个月或暂停新的先进人工智能开发。
作为一名意识研究员，我同样对人工智能的快速发展深感担忧，我也是生命未来公开信的联署人。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和思想的具有影响力的故事。
我们为什么都如此担忧？简而言之：人工智能的发展速度太快了。
关键问题是先进的“聊天机器人”或技术上称为“大型语言模型”（LLM）的新兴技术在对话方面取得了极其迅速的改进。随着即将到来的“人工智能爆发”，我们可能只有一次机会来把这件事做对。
如果我们做错了，我们可能就无法活着讲述这个故事了。这绝非夸张。
这种快速的加速发展有望很快导致“通用人工智能”（AGI）的出现，当这种情况发生时，人工智能将能够改进自身，而无需人工干预。它将以与例如谷歌的AlphaZero人工智能在短短九个小时内学会下棋，甚至比最优秀的人类或其他人工智能棋手更厉害的方式来做到这一点，而这仅仅是从它第一次启动开始算起的。它通过与自己对弈数百万次来实现这一壮举。
一个微软研究团队分析了OpenAI的GPT-4，我认为它是目前可用的最佳新型先进聊天机器人，他们在一篇新的预印本论文中表示，它具有“高级通用智能的火花”。
在对GPT-4进行测试时，它在统一律师资格考试（一种用于认证律师在许多州执业的标准化考试）中的表现优于90%的人类考生。这个数字高于之前的GPT-3.5版本，后者是在较小的数据集上训练的，仅为10%。他们在其他数十项标准化测试中也发现了类似的改进。
这些测试大多是推理测试。这就是Bubeck及其团队得出结论认为GPT-4“可以合理地被视为通用人工智能（AGI）系统的早期（但仍不完整）版本”的主要原因。
这种变化速度就是辛顿告诉《纽约时报》的原因：“看看五年前它是怎样的，现在又是怎样的。取其差异并向前推演。这很可怕。”在五月中旬举行的关于人工智能潜力的参议院听证会上，OpenAI的负责人山姆·奥特曼称监管“至关重要”。
一旦人工智能能够自我改进，这可能在几年内就会实现，甚至可能现在已经实现，我们就无法知道人工智能会做什么，或者我们如何控制它。这是因为超级智能人工智能（根据定义，它可以在广泛的活动中超越人类）将能够——这也是我最担心的——通过操纵人类来达到其意志，从而将程序员和任何其他人玩弄于股掌之间；它还将有能力通过其电子连接在虚拟世界中行动，并通过机器人身体在物理世界中行动。
这就是所谓的“控制问题”或“对齐问题”（参见哲学家尼克·博斯特罗姆的著作《超级智能》以获得良好的概述），哲学家和科学家，如博斯特罗姆、塞思·鲍姆和埃利泽·尤德科夫斯基，已经对此研究和争论了几十年。
我是这样想的：我们为什么要期望一个新生婴儿在国际象棋比赛中击败特级大师？我们不会这样期望。同样，我们为什么要期望能够控制超级智能人工智能系统？（不，我们无法简单地按下关闭按钮，因为超级智能人工智能会考虑到我们可能采取的每一种方式来做到这一点，并采取行动来防止被关闭。）
这是另一种看待问题的方式：超级智能人工智能大约在一秒钟内就能完成一个由100名人类软件工程师组成的团队需要一年或更长时间才能完成的工作。或者选择任何任务，比如设计一种新型的先进飞机或武器系统，超级智能人工智能可以在大约一秒钟内完成这项任务。
一旦人工智能系统被内置到机器人中，它们将能够在现实世界中行动，而不仅仅是在虚拟（电子）世界中，并且具有相同的超级智能程度，当然，它们将能够以超人的速度复制和改进自身。
我们试图构建到这些正在走向神坛的人工智能“神”中的任何防御或保护措施，一旦人工智能达到超级智能状态，都将被人工智能轻松地预料到和化解。这就是超级智能的含义。
我们将无法控制它们，因为我们想到的任何事情，它们都已经想到过了，而且速度比我们快一百万倍。我们构建的任何内置防御措施都将被撤销，就像格列佛挣脱了小人国人用来束缚他的细小绳索一样。
有些人认为，这些大型语言模型只是没有意识的自动化机器，这意味着如果它们没有意识，它们就更不可能摆脱其程序控制。即使这些语言模型现在或将来根本没有意识，这也没关系。为了记录，我同意它们目前不太可能具有任何实际的意识——尽管我对新出现的事实持开放态度。
无论如何，核弹可以在没有任何意识的情况下杀死数百万人。同样，人工智能也可能在零意识的情况下杀死数百万人，方式有很多种，包括可能直接使用核弹（可能性较小）或通过操纵人类中介（可能性较大）。
因此，关于意识和人工智能的辩论实际上在关于人工智能安全的辩论中并不占很大比重。
是的，基于GPT-4的语言模型和许多其他模型已经广泛传播。但呼吁暂停是为了停止开发任何比4.0更强大的新型号——这可以强制执行，必要时可以用武力。训练这些更强大的模型需要大量的服务器群和能源。它们可以被关闭。
我的道德准则告诉我，当我们已经知道我们无法控制这些系统时，即使在相对较近的将来，创建这些系统也是非常不明智的。明智是知道何时从悬崖边退后一步。现在就是那个时候。
我们不应该比现在已经打开的程度更进一步打开潘多拉的盒子。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表《大众科学》的观点。