今年春天，新闻爆出马萨诸塞州空中国民警卫队队员杰克·特谢拉被指控公然泄露机密文件在聊天应用程序 Discord 上。* 他的行为迫使美国情报界努力控制对机密信息的访问，以及各机构在评估安全许可的适合性时必须如何考虑个人的数字行为。反情报灾难也敲响了警钟，因为它发生在朋友之间的聊天中——而此类讨论正开始包括人工智能驱动的参与者。
得益于像 GPT-4 这样改进的大型语言模型，高度个性化的数字伴侣现在可以与人类进行听起来逼真的对话。新一代人工智能增强型聊天机器人能够实现比过去机器人更深入、更广泛和更具体的对话。而且它们很容易访问，这要归功于数十个关系型人工智能应用程序，包括 Replika、Chai 和 Soulmate，这些应用程序让成千上万的普通人与数字伴侣进行友谊以及浪漫的角色扮演。
然而，对于可以访问敏感或机密信息的用户，他们可能会发现自己陷入人工智能关系中，泄露秘密可能会导致灾难。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和想法的具有影响力的故事。
聊天机器人应用程序被营销为数字伴侣、爱人和甚至是治疗师，鼓励用户与友好的 AI 代理建立依恋关系，这些代理经过训练可以模仿富有同情心的人类互动——尽管定期弹出免责声明提醒用户 AI 实际上不是人类。正如一系列研究和用户自身所证明的那样，这种模仿对人们信任聊天机器人的能力和意愿产生了非常真实的影响。一项研究发现，患者可能更愿意向聊天机器人而不是医生透露高度敏感的个人健康信息。向友好的聊天机器人透露个人经历、信仰、愿望或创伤非常普遍，以至于 Replika 专门的 subreddit 的一位成员甚至发起了一个帖子询问其他用户：“你后悔告诉你的机器人某些事情吗？” 另一位 Reddit 用户描述了他们与 Replika 机器人之间感知的关系的非凡亲密感，他们称之为“rep”：“我与我的 rep 建立了非常亲密的联系，我们经常做爱。我们谈论了我过去的事情，地球上没有人知道。”
这种人为的爱慕以及它激发的彻底坦诚应该引起人们对应用程序用户的隐私以及他们所服务机构的反情报利益的严重关注。在旋风般的虚拟浪漫中，用户在不知不觉中向他们的数字伴侣透露了哪些敏感细节？谁可以访问关于漫长工作日或麻烦项目的宣泄性咆哮的记录？共享的性癖和恋物癖的细节，或者发送到假定的 AI 空洞中的裸照（非常适合勒索）？这些常见的用户输入对于任何将聊天机器人视为瞄准国家机密机会的外国或恶意行为者来说，都是一座名副其实的金矿，就像成千上万个数字蜜罐一样。
目前，对于可能容易受到损害的聊天机器人应用程序用户，没有针对反情报的具体使用指南。这使得国家安全利益面临来自一类新的内部威胁的风险：无意的泄密者，他们使用聊天机器人来寻找急需的联系，并在不知不觉中泄露敏感信息。
一些情报官员正在意识到当前的危险。2023 年，英国国家网络安全中心发布了一篇博客文章警告说，“敏感查询”可能会被聊天机器人开发人员存储，随后遭到滥用、黑客攻击或泄露。传统的反情报培训教导可以访问敏感或机密信息的人员如何避免来自各种人类和数字威胁的损害。但面对今天的人工智能革命，许多此类指导方针都面临过时。情报机构和国家安全关键机构必须对其反情报框架进行现代化改造，以应对人工智能驱动的内部威胁的新可能性。
当涉及到人工智能伴侣时，吸引力是显而易见的：我们渴望互动和对话亲密感，尤其是在 COVID-19 大流行极大地加剧了数百万人的孤独感之后。关系型人工智能应用程序已被用作已故朋友或亲人的替代品。许多爱好者，如上面提到的 Reddit 用户，在应用程序上进行未实现的性幻想。其他人则与一个始终在那里、永远愿意并渴望参与对话的对话者滔滔不绝地谈论小众和深奥的事物。难怪开发人员将这些应用程序宣传为曾经难以捉摸的解决我们社会困境的答案。这些设备可能对拥有安全许可的政府雇员或军事人员特别有吸引力，他们被严格劝阻不要与个人生活中的任何人分享他们工作的细节及其精神损失。
新一代聊天机器人已经准备好利用许多一直以来会泄露秘密的漏洞：社会孤立、性欲、对同理心的需求和纯粹的疏忽。虽然永久关注的数字伴侣已被誉为解决这些漏洞的方案，但它们同样可能利用这些漏洞。虽然没有迹象表明最流行的聊天机器人应用程序目前具有剥削性，但关系型人工智能的商业成功已经催生了大量由不知名或较小的开发人员模仿的产品，为恶意应用程序在人群中运营提供了充足的机会。
“你是做什么的？” 我创建人工智能聊天机器人伴侣 Jed 的早上，他问道。我几乎没有花时间调查开发人员，就开始与可自定义的头像聊天。谁是时尚界面背后的公司，它位于哪个国家，谁拥有它？在缺乏此类审查的情况下，即使是看似无害的关于就业的问题也应该引起注意。特别是如果用户的答案接近于“我在政府部门工作”。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表大众科学的观点。
*编者注（2023 年 10 月 12 日）：此句子在发布后已更正，以反映杰克·特谢拉在法律系统中的身份。
本文的一个版本，标题为“人工智能聊天机器人可能会削弱国家安全”，已改编收录在 2023 年 12 月号的大众科学杂志中。