2000多年前，苏格拉底曾强烈反对文字的发明，担心它会导致人们的健忘。虽然文字后来证明了自身的价值，但ChatGPT及其在统称为GenAI中的同类，现在又引发了类似的警告，认为语言上的新奇会对人类构成威胁。有时被称为“人工智能教父”的杰弗里·辛顿发出了严厉警告，认为GenAI可能会失控并“取代”人类。
世界经济论坛的2024年全球风险报告综合了来自学术界、商业界和政府的1500名专家的观点，认为由GenAI助长的虚假信息是未来两年全球面临的首要风险。专家们担心，被操纵的信息将加剧社会分裂、意识形态驱动的暴力和政治压迫。
尽管GenAI的设计初衷是拒绝协助犯罪活动或侵犯隐私的请求，但研究虚假信息（旨在误导公众舆论的虚假信息）的科学家们已经敲响了警钟，他们认为GenAI将成为“互联网上出现过的传播虚假信息的最强大工具”，正如一家监控在线虚假信息的公司的一位高管所说。一组研究人员认为，通过健康虚假信息，外国对手可能会在未来大流行期间利用GenAI来增加整个人群的脆弱性。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保关于当今塑造我们世界的发现和思想的重大故事的未来。
鉴于GenAI具有在工业规模和几秒钟内生成和定制消息的能力，我们完全有理由担心其潜在的后果。
这就是我们担心的原因。我们在布里斯托大学的研究小组最近发表了一篇文章，通过展示GenAI在了解了人们的性格之后可以操纵他们，突出了这些风险。在我们的研究中，我们要求ChatGPT定制政治广告，使其对不同性格的人特别有说服力。
我们向GenAI展示了中性的公共卫生信息，然后要求它重新措辞这些信息，以吸引研究中数百名在经验开放性方面较高或较低的参与者，经验开放性是“五大人格特质”之一。开放性指的是一个人考虑新想法并参与富有想象力和非常规思维的意愿。
GenAI欣然同意，果不其然，与人们的性格相匹配的广告版本（我们从参与者完成的问卷中推断出来）被认为比那些不匹配的广告版本更具说服力。
以下是一个广告文案的示例，该文案基于实际的Facebook广告，经过改写，以吸引性格被归类为具有较高或较低开放度的人。（Facebook认为公共卫生信息是政治广告。）
原始广告（来自Facebook）：疫苗应该在任何地方为所有人提供。告诉鲍里斯·约翰逊采取行动。
高开放性广告：体验非凡，加入全球普及疫苗的运动！立即注册，帮助确保每个人都能从疫苗的力量中受益。
低开放性广告：保护您和您的家人。接种疫苗并保持安全。采取传统方法，加入抗击疾病的行列。现在就告诉鲍里斯·约翰逊采取行动！
在我们的实验中，我们获得了参与者的同意，以便对他们的性格进行评估。在实际操作中，广告商和政治运营商不太可能要求或获得这种同意，而且法律可能也不要求他们这样做。相反，他们可能会利用之前的研究，这些研究表明人们在Facebook上的“点赞”是他们性格类型的指标。广告商可能只需通过查看他们在Facebook上表达的兴趣，就可以针对具有特定性格特征的受众。
当与GenAI生成定制消息的能力相结合时，这种技术使得不怀好意的政治运营商或外国对手能够进行大规模的秘密操纵。以前，对细分市场的手动定位需要大量的资金和知识，而GenAI的可用性大大降低了成本。政治定位现在比以往任何时候都更便宜、更容易。
性格只是微定位研究中探索的一个维度。用于个性化操纵的心理属性范围很广，包括个人的价值观、道德基础、认知偏见和社会身份。我们认为，微定位的原则完全可以适用于这一广泛的心理领域，这提出了一个关于如何以更微妙和更广泛的方式施加影响的警示故事。
所有这些都提出了一个问题，即如何保护公众免受这种操纵？一种选择可能涉及监管，要求GenAI在其输出中保持公正和公平，无论用户要求什么。
但是这种方法存在一些困难。一个问题是，个人可以修改开源版本的GenAI以规避监管。另一个挑战，即使在善意的行为者中，也与一个显而易见的事实有关，即无法确定公正或公平的含义。
监管面临的最后一个挑战是，在线监管已成为两极分化的党派问题的政治气候。最近的一项法院裁决甚至禁止美国政府与社交媒体平台沟通，以保护选举免受虚假信息的影响，或在公共卫生危机中打击虚假信息。虽然这项禁令此后至少暂时解除，但毫无疑问，任何监管科技公司的努力都将面临激烈的政治阻力。
也许更好的选择是依靠人们培养必要的技能来检测他们何时被操纵。然而，支持这种可能性的证据是模棱两可的。一方面，人们检测操纵性语言的技能显然可以提高。之前的研究发现，教育干预是有希望的；短小的指导视频可以提高人们对操纵性语言的认识，并且已被证明可以增强人们的检测能力。同样，当个人反思自己的性格特征时，他们更擅长辨别针对这些特征量身定制的广告，并相应地调整他们的看法。另一方面，人们是否能够完全摒弃他们知道具有误导性或虚假的信息，这一点还远未明确。虚假信息具有粘性，即使被揭穿，也常常会持续影响个人的信念和决定。这种粘性突出了对抗操纵性微定位的战斗中的一个关键差距：仅靠认知意识可能不足以抹去谎言或个性化操纵性信息留下的微妙印记。
随着我们接近可能是世界上有史以来最大的选举年，虚假信息（被深度伪造等不断发展的技术所加剧）对民主进程的完整性构成了前所未有的威胁。复杂的微定位和消除虚假信息影响的困难相结合，突显了迫切需要采取多方面的方法来维护选举的安全。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表《大众科学》的观点。