上个月，希拉里·克林顿的新书《发生了什么》在亚马逊网站上首次亮相时，反响令人难以置信。如此难以置信，以至于在短短几个小时内，该书在亚马逊页面上发布的1600条评论中，该公司很快删除了900条，怀疑这些评论是虚假的：由那些声称喜欢或讨厌这本书但既没有购买过，甚至可能没有读过这本书的人写的。虚假产品评论——由付费或更邪恶的动机驱动——并非新鲜事，但随着骗子找到新的方法来自动化旨在影响公众舆论的在线虚假信息活动，它们将成为更大的问题。
根据分析在亚马逊网站上销售的产品的消费者反馈的监督网站 ReviewMeta 的说法，自 9 月 12 日首次亮相以来，亚马逊已经删除了近 1200 条关于《发生了什么》的评论。据 ReviewMeta 称。去年，在评估了亚马逊上的 700 万条评估后，ReviewMeta 获得了一些恶名，它指责这家在线零售商允许由付费撰写五星级产品认可的人员进行“激励性”评论。亚马逊后来修订了其社区指南，禁止激励性评论。
亚马逊删除如此多关于克林顿的书的评价引起了 ReviewMeta 的注意。该网站收集亚马逊上的公开可用数据，包括产品收到的星级、撰稿人是否是产品的经过验证的买家以及该人在网站上的活跃程度。Tommy Noonan，一位在 2016 年 5 月创立 ReviewMeta 的程序员，鉴于过去一年“虚假”这个词所带有的政治色彩，他避免称这些评论为“虚假”。Noonan 更喜欢“不自然”这个词。
支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您将有助于确保关于塑造当今世界的发现和想法的具有影响力的故事的未来。
他解释说：“无法 100% 确定特定评论是虚假的。” 幸运的是，亚马逊网站上只有少数商品的评论完整性问题与《发生了什么》相当。这些商品“主要是克林顿的书籍——尽管也存在[唐纳德]特朗普圣诞饰品的问题”，该饰品收到了大量异常的负面评论，Noonan 补充道。
人工智能来救援？
在亚马逊、Yelp 或任何其他严重依赖消费者评价的商业网站上，要大量炮制足以影响产品或服务声誉的虚假评论，并不像听起来那么容易。与某人撰写然后试图通过社交媒体病毒式传播的虚假新闻报道不同，虚假评论只有在大量制造并发布到销售或宣传特定商品的网站上时才有效。它们也需要具有一定的可信度——尽管正确的拼写和标点符号似乎是可选的。
一群芝加哥大学的研究人员正在调查是否可以使用人工智能来自动生成足够令人信服的大量评论。他们最新的实验涉及开发基于人工智能的方法来生成虚假的 Yelp 餐厅评估。（Yelp 是一个流行的众包网站，自 2004 年 7 月推出以来，已经发布了超过 1.35 亿条评论，涵盖了大约 280 万家企业）。研究人员使用了一种称为深度学习的机器学习技术来分析数百万现有 Yelp 评论中使用的字母和单词模式。深度学习需要大量的计算，并且需要将大量数据集馈送到基于人脑神经结构的模拟人工“神经元”的大型网络中。芝加哥团队的人工神经网络生成了自己的餐厅评论——一些具有复杂的单词使用模式，使其成为真实的评价，另一些则由于重复的单词和短语而似乎很容易被发现。
但是，当研究人员测试他们的人工智能生成的评论时，他们发现 Yelp 的过滤软件（也依赖于机器学习算法）很难发现许多假货。被要求评估真实和自动化评价的人类测试对象无法区分两者。当被要求评价特定评论是否“有用”时，人类受访者对人工智能生成的版本的回应几乎与真实版本一样频繁。
芝加哥大学计算机科学教授 Ben Zhao 表示：“我们已经验证了某人使用人工智能创建足以欺骗当前对策的虚假帐户的危险。”他将于下个月在达拉斯举行的 ACM 计算机和通信安全会议上与他的同事一起展示这项研究。与 Yelp 一样，亚马逊和其他网站使用过滤软件来检测可疑评论。此软件基于与研究人员开发用于编写虚假评估的机器学习技术类似的技术。一些过滤软件会跟踪和分析有关评论者的信息，例如其计算机的识别互联网协议 (IP) 地址或他们的发布频率。其他防御程序会检查文本中重复出现的单词以及可能从其他网站抄袭的短语。
赵说，研究人员没有发现任何证据表明目前正在使用人工智能来操纵在线评论系统——但如果虚假信息活动家确实转向人工智能，他警告说，“这基本上[变成]攻击者和防御者之间的军备竞赛，看看谁能开发出更复杂的算法和更好的人工神经网络来生成或检测虚假评论。” 因此，赵的团队现在正在开发可用于检测虚假评论的对策算法——类似于他们创建的算法。建立有效防御的能力需要了解神经网络的局限性。例如，如果它的设计目的是专注于创建具有正确语法和词汇的内容，那么它更有可能忽略它一遍又一遍地使用相同的单词和短语的事实。“但是[搜索此类缺陷]只是一个短期修复，因为更强大的硬件和更大的训练数据意味着未来的人工智能模型将能够捕获所有这些属性，并且真正与人类创作的内容无法区分，”赵说。
“众包水军”
随着人工智能的成熟，假设它将被用来破坏许多人在打开钱包前参考的在线评论系统并不为过。但就目前而言，一种更常见且基于人为的方法来生成大量虚假评论（例如克林顿的书籍的评论）被称为“众包水军”。一般来说，众包水军市场向愿意帮助攻击评论系统、社交媒体和搜索引擎的人们提供报酬。赵说，这些努力就像一个“邪恶的 Mechanical Turk”。亚马逊在 2005 年创建了一个名为 Mechanical Turk 的网站，以通过互联网实现工作的众包——无论是为一家公司支付随机网络冲浪者来对新的标志设计进行权衡，还是为进行社会科学实验的研究人员提供服务。
在众包在线评论中，攻击者在 Mechanical Turk 网站上创建一个项目，并向大量人员提供报酬，让他们在亚马逊、Yelp、TripAdvisor 或其他网站上设置帐户，然后发布旨在提高或降低产品或服务赚钱前景的评论。“[一家公司]可以向工人支付少量费用，让他们为竞争对手撰写负面的在线评论，通常编造糟糕的经历或服务的故事，”赵说。众包水军在中国、印度和美国已成为一个日益严重的问题，但通常受限于一个人用于让其他人做肮脏工作的资金量，他补充说。
自动化虚假新闻
为了预防自动化虚假信息技术成熟到可以持续生成令人信服的新闻文章的地步，赵和他的同事正在考虑将虚假新闻检测作为他们未来研究的方向。已经存在可以自动生成论文和科学论文的程序，但仔细的人工阅读通常会发现它们毫无意义，Filippo Menczer 说，他是印第安纳大学信息与计算学院的信息学和计算机科学教授。
旨在传播谎言和虚假信息的文章目前由人类撰写，因为它们需要显得真实才能在网上病毒式传播，没有参与芝加哥研究的 Menczer 说。“这是当今的机器无法做到的事情，”他说。“尽管如此，熟练的人工智能科学家如果将精力投入到这项不太高尚的任务中，可能会创建可信的文章，传播半真半假的事实并利用人们的恐惧。”