一月初的头条新闻毫不含糊，而且都围绕着一个主题：研究人员认为人工智能有 5% 的几率会毁灭人类。
这是 发表在预印本服务器 arXiv.org 上的一篇论文得出的令人清醒的结论。在论文中，作者报告了一项针对 2,778 名研究人员的调查结果，这些研究人员曾在知名人工智能研究会议和期刊上展示和发表过作品——这是迄今为止在曾经默默无闻的领域中规模最大的一次民意调查，该领域突然发现自己正在探索人类未来的核心问题。“人们对人工智能研究人员如何看待这些事情感兴趣，”论文的共同主要作者、AI Impacts（开展这项调查的组织）的首席研究员卡特亚·格蕾丝说。“他们在关于人工智能未来发展的对话中扮演着重要的角色。”
但一些人工智能研究人员表示，他们担心调查结果可能对危言耸听的观点有所偏颇。AI Impacts 的部分资金来自多个组织，例如 Open Philanthropy，这些组织提倡有效利他主义——这是一种在新兴的哲学运动，在硅谷很流行，并以其对人工智能未来与人类互动的末日展望而闻名。这些资金联系，以及调查中问题的框架，导致一些人工智能研究人员公开谈论使用推测性民意调查结果来评估人工智能真实威胁的局限性。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事的未来。
有效利他主义（Effective altruism，简称 EA）被其支持者称为“知识项目”，旨在将资源用于尽可能大地造福人类生命。这场运动越来越关注人工智能，将其视为人类的生存威胁之一，与核武器相当。但批评人士表示，这种对推测性未来情景的专注分散了社会对人工智能已经构成的风险的讨论、研究和监管的注意力——包括歧视、隐私和劳动权利等其他紧迫问题。
最近的调查是 AI Impacts 自 2016 年以来对该领域的第三次此类民意调查，要求研究人员估计人工智能导致人类“灭绝”（或“物种同样永久和严重的权力丧失”）的可能性。一半的受访者预测概率为 5% 或更高。
但人工智能促进协会（Association for the Advancement of Artificial Intelligence，AAAI）前主席托马斯·G·迪特里希认为，以这种方式构建调查问题本身就会助长人工智能构成生存威胁的观点。迪特里希是约 20,000 名被邀请参与调查的研究人员之一——但在他通读问题后，他拒绝了。
“与往年一样，许多问题都是从人工智能末日论者、生存风险的角度提出的，”他说。特别是，调查中的一些问题直接要求受访者假设最终将构建出高级机器智能，它被定义为在每项可能的任务中都能够超越人类的机器。迪特里希指出，这并不是每位人工智能研究人员都认为理所当然的事情。他说，对于这些问题，几乎任何结果都可以用来支持有关人工智能潜在未来的惊人结论。
“我喜欢这项调查中的一些问题，”迪特里希说。“但我仍然认为重点是‘我们应该担心多少？’，而不是进行仔细的风险分析并制定政策来减轻相关风险。”
阿姆斯特丹大学的机器学习研究员蒂姆·范·埃尔文等其他人参与了调查，但后来感到后悔。“这项调查强调了关于人类灭绝的毫无根据的推测，但没有具体说明这将通过何种机制发生，”范·埃尔文说。他表示，向受访者展示的情景并未明确说明假设的人工智能的能力或何时能够实现。“这种模糊的、被炒作的概念是危险的，因为它们被用作烟雾弹……以转移人们对目前正在发生的平凡但更为紧迫的问题的注意力，”范·埃尔文补充道。
AI Impacts 的首席研究员格蕾丝反驳说，重要的是要知道大多数接受调查的人工智能研究人员是否认为生存风险是一个令人担忧的问题。她表示，获取这些信息“不一定[要]排除其他一切，但我确实认为应该至少进行一次调查”。“不同的担忧加在一起，都强调了要对这些事情保持谨慎。”
AI Impacts 获得了名为 Effective Altruism Funds 的组织以及其他先前支持人工智能生存风险运动的 EA 支持者的资助，这一事实促使一些研究人员认为，调查对生存风险问题的框架可能受到该运动的影响。
传播研究员和记者尼里特·韦斯-布拉特研究了有效利他主义者提高对人工智能安全问题意识的努力，她说人工智能社区中的一些人对关注生存风险感到不安——他们声称这是以牺牲其他问题为代价的。“如今，越来越多的人正在重新考虑是否让有效利他主义为人工智能行业和即将到来的人工智能监管设定议程，”她说。“有效利他主义的名声正在下降，反弹正在到来。”
“我想，在某种程度上，批评在于我们是 EA 支持者，这可能很难避免，”格蕾丝说。“我想我可能会谴责 EA 或其他什么的。但就关于主题的偏见而言，我想我已经写了一篇关于反驳人工智能将导致人类灭绝的想法的最佳文章。”格蕾丝指出，她自己并不知道她所有同事对人工智能生存风险的看法。“我认为，总体而言，AI Impacts 在信念方面比人们想象的更加多样化，”她说。
为了捍卫他们的研究，格蕾丝和她的同事们表示，他们努力解决了往年对 AI Impacts 研究提出的一些批评——特别是相对较少的受访者未能充分代表该领域的论点。今年，AI Impacts 团队试图通过联系更多的人并扩大参与者的会议范围来增加受访者人数。
但有些人表示，这种撒网式的调查仍然不够广泛。“我看到他们仍然没有纳入明确考虑伦理和人工智能的会议，例如 FAccT [ACM 公平性、责任和透明度会议] 或 AIES [AAAI/ACM 人工智能、伦理和社会会议]，”人工智能公司 Hugging Face 的首席伦理科学家玛格丽特·米切尔说。“这些是人工智能和伦理方面的‘顶级人工智能场所’。”
米切尔收到了加入调查的邀请，但没有这样做。“我通常只是不回复我不认识的人发来的要求我做更多工作的电子邮件，”她说。她推测，这种情况可能有助于使调查结果产生偏差。“你更有可能得到那些没有大量电子邮件要回复的人，或者那些渴望让自己的声音被听到的人——所以更多的是资历较浅的人，”她说。“这可能会影响难以量化的事情，例如在做出的选择中捕捉到的智慧量。”
但还有一个问题是，一项要求研究人员对遥远未来做出猜测的调查是否真的提供了任何关于人工智能风险真实情况的有价值的信息。“我不认为大多数回答这些调查的人都在进行仔细的风险分析，”迪特里希说。他们也没有被要求支持他们的预测。“如果我们想找到这些问题的有用答案，”他说，“我们需要资助研究，以仔细评估每项风险和收益。”