以下文章经许可转载自The Conversation，这是一个报道最新研究的在线出版物。
社交媒体是美国乃至全球主要的新闻来源之一。然而，用户接触到的内容准确性令人质疑，包括阴谋论、标题党、高度党派化的内容、伪科学，甚至捏造的“假新闻”报道。
发布如此多的虚假信息并不令人惊讶：垃圾邮件和网络欺诈对犯罪分子来说利润丰厚，而政府和政治宣传则产生党派和经济利益。但低可信度内容传播如此迅速和容易这一事实表明，人和社交媒体平台背后的算法都容易受到操纵。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和思想的具有影响力的故事的未来。
解释在社交媒体观察站开发的工具。
我们的研究已经确定了三种偏见，这些偏见使社交媒体生态系统容易受到有意和无意的错误信息的影响。这就是为什么我们在印第安纳大学的社交媒体观察站正在构建工具，以帮助人们意识到这些偏见，并保护自己免受旨在利用这些偏见的外部影响。
大脑中的偏见
认知偏见源于大脑处理每个人每天遇到的信息的方式。大脑只能处理有限的信息量，过多的传入刺激会导致信息过载。这本身就对社交媒体上的信息质量产生了严重影响。我们发现，对用户有限注意力的激烈竞争意味着一些想法尽管质量不高，仍然会迅速传播——即使人们更喜欢分享高质量的内容。*
为了避免不堪重负，大脑使用多种技巧。这些方法通常是有效的，但在错误的背景下应用时也可能变成偏见。
当一个人决定是否分享出现在其社交媒体信息流中的故事时，就会发生一种认知捷径。人们非常容易受到标题的情感内涵的影响，即使这并不是衡量文章准确性的好指标。更重要的是谁写的这篇文章。
为了 противостоять 这种偏见，并帮助人们在分享之前更多地关注声明的来源，我们开发了Fakey，这是一款移动新闻素养游戏（在Android和iOS上免费），模拟典型的社交媒体新闻信息流，其中混合了来自主流和低可信度来源的新闻文章。玩家分享来自可靠来源的新闻并标记可疑内容以进行事实核查，可以获得更多积分。在这个过程中，他们学会了识别来源可信度的信号，例如高度党派化的声明和带有强烈情感色彩的标题。
社会中的偏见
另一种偏见来源来自社会。当人们直接与同龄人联系时，引导他们选择朋友的社会偏见就会影响他们看到的信息。
事实上，在我们的研究中，我们发现可以通过简单地查看推特用户的朋友的党派偏好来确定他们的政治倾向。我们对这些党派沟通网络结构的分析发现，当社交网络紧密联系在一起并与其他社会部分脱节时，它们在传播信息（无论准确与否）方面特别有效。
如果信息来自他们自己的社交圈子，人们倾向于更积极地评估信息，这种倾向创造了“回音室”，这些“回音室”很容易受到有意或无意的操纵。这有助于解释为什么如此多的在线对话会演变成“我们与他们”的对抗。
为了研究在线社交网络的结构如何使用户容易受到虚假信息的影响，我们构建了Hoaxy，这是一个跟踪和可视化低可信度来源内容传播以及它如何与事实核查内容竞争的系统。我们对 Hoaxy 在 2016 年美国总统选举期间收集的数据进行的分析表明，分享错误信息的推特账户几乎完全与事实核查人员做出的更正隔绝。
当我们深入研究传播错误信息的账户时，我们发现一个非常密集的账户核心小组几乎完全互相转发——包括几个机器人。错误信息组中的用户引用或提及事实核查组织的唯一情况是质疑其合法性或声称与其所写内容相反。
机器中的偏见
第三组偏见直接来自用于确定人们在网上看到什么内容的算法。社交媒体平台和搜索引擎都使用这些算法。这些个性化技术旨在为每个用户选择最吸引人和最相关的内容。但这样做可能会加强用户的认知和社会偏见，从而使他们更容易受到操纵。
例如，许多社交媒体平台中内置的详细广告工具让虚假信息活动者可以通过定制信息给那些已经倾向于相信他们的人来利用确认偏见。
此外，如果用户经常点击来自特定新闻来源的 Facebook 链接，Facebook 将倾向于向该人展示更多该网站的内容。这种所谓的“过滤气泡”效应可能会将人们与不同的观点隔离开来，从而加强确认偏见。
我们自己的研究表明，与维基百科等非社交媒体网站相比，社交媒体平台让用户接触到的来源更加单一。因为这发生在整个平台层面，而不是单个用户层面，所以我们称之为同质性偏见。
社交媒体的另一个重要组成部分是平台上流行的信息，这取决于什么内容获得最多的点击量。我们称之为流行度偏见，因为我们发现旨在推广受欢迎内容的算法可能会对平台上信息的整体质量产生负面影响。这也助长了现有的认知偏见，强化了表面上流行的内容，而不管其质量如何。
所有这些算法偏见都可能被社交机器人操纵，社交机器人是计算机程序，通过社交媒体账户与人类互动。大多数社交机器人，例如 Twitter 的Big Ben，都是无害的。然而，有些机器人隐藏了它们的真实性质，并被用于恶意目的，例如助长虚假信息或错误地制造草根运动的假象，也称为“虚假草根运动”。我们发现了这种类型的操纵的证据，在 2010 年美国中期选举的准备阶段。
为了研究这些操纵策略，我们开发了一种检测社交机器人的工具，名为Botometer。Botometer 使用机器学习来检测机器人账户，通过检查推特账户的数千个不同特征，例如其帖子的时间、推文频率以及它关注和转发的账户。它并不完美，但它已经揭示，高达15% 的推特账户显示出是机器人的迹象。
结合使用 Botometer 和 Hoaxy，我们分析了 2016 年美国总统竞选期间错误信息网络的核心。我们发现许多机器人利用了受害者的认知、确认和流行度偏见以及 Twitter 的算法偏见。
这些机器人能够围绕易受攻击的用户构建过滤气泡，向他们提供虚假声明和错误信息。首先，他们可以通过发布该候选人的标签或提及和转发该人来吸引支持特定候选人的人类用户的注意力。然后，机器人可以通过转发来自与某些关键词匹配的低可信度来源的文章来放大抹黑对手的虚假声明。这种活动也使得算法为其他用户突出显示正在广泛分享的虚假故事。
理解复杂的脆弱性
即使我们的研究和其他人的研究表明个人、机构甚至整个社会都可能在社交媒体上受到操纵，但仍有许多问题有待解答。特别重要的是要发现这些不同的偏见如何相互作用，从而可能产生更复杂的脆弱性。
像我们这样的工具为互联网用户提供更多关于虚假信息的信息，因此在一定程度上可以保护他们免受其危害。解决方案可能不仅仅是技术性的，尽管可能有一些技术方面。但它们必须考虑到问题的认知和社会方面。
*编者注：本文于 2019 年 1 月 10 日更新，删除了指向一篇已被撤回研究的链接。文章的文本仍然准确，并且保持不变。
本文最初发表于The Conversation。阅读原文。