比聊天机器人更自主的 AI 代理即将到来。一些安全专家对此感到担忧

代表个人或公司运营的系统是人工智能繁荣的最新产物,但这些“代理”可能会带来新的、不可预测的风险

rob dobi/Getty Images

你每天、每时每刻都在做选择。哲学家们长期以来认为,这种有意行动或具有能动性的能力,将人类与更简单的生命形式和机器区分开来。但人工智能可能很快就会超越这种界限,因为科技公司正在构建 AI “代理”——能够以最少的人工监督做出决策并实现目标的系统。

面对展示数十亿美元投资回报的压力,AI 开发商正在将代理作为下一波消费者技术进行推广。与聊天机器人一样,代理利用大型语言模型,并可从手机、平板电脑或其他个人设备访问。但与需要持续人工干预才能生成文本或图像的聊天机器人不同,代理可以自主地与外部应用程序交互,代表个人或组织执行任务。OpenAI 已列出 代理的存在是构建 通用人工智能 (AGI)(在任何认知任务上都能超越人类的人工智能)的五个步骤中的第三步,并且该公司 据报道 计划在 1 月份发布代号为“Operator”的代理。该系统可能只是倾盆大雨中的一滴:Meta 首席执行官马克·扎克伯格 预测,AI 代理最终将超过人类的数量。与此同时,一些 AI 专家担心,代理的商业化对于一个倾向于将速度置于安全之上的行业来说,是一个危险的新步骤。

根据大型科技公司的推销,代理将把人类工人从繁琐的工作中解放出来,为更有意义的工作(以及企业巨大的生产力提升)打开大门。“通过将我们从平凡的任务中解放出来,[代理] 可以使我们专注于真正重要的事情:人际关系、个人成长和知情的决策,”Google DeepMind 的高级研究员 Iason Gabriel 说。去年五月,该公司 发布 了“Project Astra”的原型,描述 为“在日常生活中有所帮助的通用 AI 代理”。在一个视频演示中,Astra 通过 Google Pixel 手机与用户对话,并通过设备的摄像头分析环境。在某个时刻,用户将手机举到同事的电脑屏幕前,屏幕上充满了代码行。AI 用类似人类女性的声音描述了代码——它“定义了加密和解密功能”。


支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。


Project Astra 预计最早也要到明年才会公开发布,目前可用的代理主要限于单调的劳动,例如编写代码或提交费用报告。这反映了技术限制以及开发人员对在高风险领域信任代理的谨慎态度。“代理应该被部署来执行可以‘非常明确定义’的‘琐碎和重复性任务’,”基于云的软件公司 Salesforce 的首席科学家 Silvio Savarese 说。该公司最近推出了 Agentforce,一个提供代理的平台,可以处理客户服务问题并执行其他狭窄的功能。Savarese 表示,他会“非常犹豫”在更敏感的背景下信任代理,例如法律判决。

尽管 Agentforce 和类似的平台主要面向企业销售,但 Savarese 预测个人代理最终会兴起,个人代理可以访问您的个人数据并不断更新他们对您的需求、偏好和怪癖的理解。例如,一个负责规划您的暑假的基于应用程序的代理可以预订您的航班、在餐厅预订餐位并预订您的住宿,同时记住您对靠窗座位的偏好、您的花生过敏症以及您对带游泳池的酒店的喜爱。至关重要的是,它还需要对意外情况做出反应:如果最佳航班选项已满,它需要调整路线(可能通过查看另一家航空公司)。“适应环境并对环境做出反应的能力对于代理至关重要,”Savarese 说。个人代理的早期迭代可能已经在路上了。例如,据 报道,亚马逊正在开发代理,这些代理将能够根据您的在线购物历史为您推荐和购买产品。

是什么造就了代理?

企业对 AI 代理的兴趣突然激增,掩盖了它们悠久的历史。所有机器学习算法在技术上都是“代理性的”,因为它们不断“学习”,或根据从海量数据中收集的模式,改进其实现特定目标的能力。“在 AI 领域,几十年来,我们一直将所有系统视为代理,”加州大学伯克利分校的先驱 AI 研究员和计算机科学家 Stuart Russell 说。“只是有些代理非常简单。”

但得益于一些新的创新,现代 AI 工具现在正变得更具代理性。其中一项创新是使用数字工具,例如搜索引擎的能力。通过 10 月份发布的公开 Beta 测试的新“计算机使用”功能,AI 公司 Anthropic 的 Claude 聊天机器人背后的模型现在可以在显示用户桌面截图后移动光标并单击按钮。该公司发布的一段视频显示,Claude 正在填写和提交一份虚构的供应商请求表单。

能动性还与跨时间做出复杂决策的能力相关;随着代理变得更加先进,它们将被用于更复杂的任务。Google DeepMind 的 Gabriel 设想了一个未来的代理,可以帮助发现新的科学知识。这可能不会太遥远。8 月份发布到预印本服务器 arXiv.org 的一篇 论文 概述了一种“AI 科学家”代理,该代理能够制定新的研究想法并通过实验对其进行测试——有效地自动化了科学方法。

尽管能动性和意识之间存在密切的本体论联系,但没有理由相信,在机器中,前者的进步会导致后者的产生。科技公司当然不会将这些工具宣传为具有任何接近自由意志的东西。用户可能会将代理 AI 视为有知觉的——但这更多地反映了数百万年的进化,这些进化使人们的大脑根深蒂固地将意识归因于任何看起来像人类的东西。

新兴的挑战

代理的兴起可能会在工作场所、社交媒体和互联网以及经济领域带来新的挑战。经过数十年或数百年精心制定的、旨在约束人类行为的法律框架,将需要考虑到人工智能代理的突然引入,人工智能代理的行为从根本上不同于我们自己的行为。一些专家甚至坚持认为,对人工智能更准确的描述是“外星智能”。

以金融业为例。算法长期以来一直帮助跟踪各种商品的价格,并根据通货膨胀和其他变量进行调整。但代理模型现在开始为个人和组织做出财务决策,这可能会引发一系列棘手的法律和经济问题。“我们还没有创建将 [代理] 整合到我们所有规则和结构中的基础设施,以确保我们的市场运行良好,”约翰·霍普金斯大学人工智能治理专家 Gillian Hadfield 说。如果代理代表组织签署合同,后来违反了该协议的条款,那么应该由组织承担责任——还是算法本身?进一步引申,代理是否应该像公司一样被授予法律“人格”?

另一个挑战是设计行为符合人类道德规范的代理——在人工智能领域,这个问题被称为“对齐”。随着能动性的增强,人类越来越难以辨别 AI 是如何做出决策的。目标被分解为越来越抽象的子目标,模型偶尔会显示出无法预测的涌现行为。“从拥有擅长规划的代理到失去人类控制,存在一条非常清晰的路径,”帮助发明了神经网络的计算机科学家 Yoshua Bengio 说,神经网络正在推动当前的人工智能繁荣。

Bengio 认为,对齐问题因大型科技公司的优先事项往往与整个人类的优先事项背道而驰而变得更加复杂。“在赚钱和保护公众安全之间存在真正的利益冲突,”他说。在 2010 年代,Facebook(现在的 Meta)使用的算法,鉴于最大化用户参与度这一看似良性的目标,开始向缅甸的用户推广仇恨 内容,反对该国少数民族罗兴亚人口。这种策略——算法在了解到煽动性内容更有利于用户参与后,完全自行决定采取这种策略——最终助长了一场种族清洗运动,导致数千人丧生。随着算法变得更具代理性,错位的模型和人为操纵的风险可能会增加。

代理的监管机构

Bengio 和 Russell 认为,监管 AI 对于避免重蹈覆辙或在未来措手不及是必要的。这两位科学家都是 2023 年 3 月发布的 公开信 的 33,000 名签署者之一,该公开信呼吁暂停 AI 研究六个月,以建立护栏。随着科技公司竞相构建代理 AI,Bengio 敦促采取预防原则:强大的科学进步应缓慢推进,商业利益应让位于安全。

这一原则在其他美国行业中已经成为常态。一家制药公司在经过严格的临床试验并获得食品和药物管理局的批准之前,不能发布一种新药;一家飞机制造商在没有获得联邦航空管理局的认证之前,不能推出新的客机。虽然已经采取了一些早期的监管步骤——最值得注意的是乔·拜登总统关于 AI 的行政命令(当选总统唐纳德·特朗普誓言要废除该命令)——但目前尚不存在全面的联邦框架来监督 AI 的开发和部署。

Bengio 警告说,代理商业化的竞赛可能会迅速将我们推过一个不归路。“一旦我们拥有代理,它们将是有用的,它们将具有经济价值,并且它们的价值将增长,”他说。“一旦政府意识到它们也可能很危险,可能为时已晚,因为经济价值将变得如此之大,以至于你无法阻止它。”他将代理的兴起比作社交媒体的兴起,社交媒体在 2010 年代迅速超越了任何有效的政府监管的机会。

当世界准备迎接人工智能代理的浪潮时,现在比以往任何时候都更迫切地需要行使我们自己的能动性。正如 Bengio 所说,“在跳跃之前,我们需要仔细思考。”

© . All rights reserved.