2015年除夕，纽约州罗切斯特市的当地和联邦特工逮捕了一名26岁的男子，他计划当晚稍后用刀和弯刀随机袭击人群。就在他被捕之前，伊曼纽尔·L·卢奇曼制作了一段视频，打算在袭击发生后发布到社交媒体上，他在视频中宣誓效忠伊拉克和叙利亚的伊斯兰国（ISIS）。卢奇曼后来表示，他的阴谋的主要灵感来源是类似的支持伊斯兰国和“暴力圣战”的视频，这些视频在社交媒体和网站上发布和分享。
卢奇曼（目前正在服刑20年）特别迷恋安瓦尔·奥拉基的视频，他是一位出生于美国的牧师，也是也门基地组织招募人员。奥拉基在网上的激烈布道也被认为是2013年波士顿马拉松爆炸案以及过去15年中美国和欧洲发生的其他几起重大恐怖袭击事件的灵感来源。官员们在卢奇曼被捕前几天一直在监视他的活动，并在他完成视频制作后立即采取了行动——这段视频从未发布，讽刺的是，它最终成为了他意图实施多项犯罪的证据。
然而，在奥拉基这位被戏称为“互联网上的本·拉登”的牧师死于美国无人机袭击五年多后，他的视频仍然在激励着容易受影响的年轻人。Facebook、Twitter和谷歌的YouTube一直在努力删除恐怖主义宣传视频，并关闭与ISIS和其他一些暴力组织相关的账户。然而，这些视频已经被复制和分享了很多次，以至于在这些网站上仍然可以被像卢奇曼和奥马尔·米尔·西迪克·马丁这样精通数字技术和容易走向极端的千禧一代广泛获取。后者在去年6月在奥兰多的Pulse夜总会杀害49人之前，曾在社交媒体上宣誓效忠ISIS。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您将帮助确保有关当今世界发现和塑造我们世界的有影响力的故事的未来。
社交媒体公司长期以来一直使用复杂的算法来挖掘用户的文字、图像、视频和位置数据，以改进搜索结果并精确地定位广告。但是，将类似技术应用于根除宣传恐怖分子事业、招募新成员和筹集资金的视频的努力却不太成功。视频占移动在线流量的一半以上，尤其成问题，因为它可以在几分钟内以病毒式传播极端主义者的信息，难以追踪，甚至更难消除。尽管面临这些引人注目的挑战，Facebook、谷歌和Twitter正面临着越来越强烈的抵制——包括广告商的抵制和诉讼——迫使它们更有效地处理它们所创建的平台的阴暗面。新的视频“指纹识别”技术正在兴起，有望在极端主义视频发布后立即将其标记出来。然而，仍然存在很大的问题：这些工具是否能够有效地防止恐怖主义视频在社交媒体上扩散？那些助长了这种宣传的公司会接受它们吗？
来源：Amanda Montañez；来源：思科视觉网络指数，2016
社交媒体的ISIS问题
据布鲁金斯学会美国与伊斯兰世界关系项目的前非常驻研究员J·M·伯杰称，ISIS有一套完善的利用社交媒体和其他在线渠道的策略来吸引新成员，并鼓励他们代表恐怖组织采取行动。西姆斯·休斯是乔治华盛顿大学极端主义项目副主任，他说：“[ISIS]招募人员的平均年龄约为26岁。这些年轻人不是在学习如何使用社交媒体——他们已经知道如何使用，因为他们是伴随着社交媒体成长起来的。”
几年前，ISIS视频在YouTube上成为了一种主要内容，以至于该网站的自动化广告算法在与恐怖组织相关的视频前插入了宝洁、丰田和安海斯-布希的广告。尽管当时谷歌保证正在删除广告，并在某些情况下删除视频本身，但问题远未解决。3月份，谷歌欧洲、中东和非洲（EMEA）业务和运营总裁马修·布里顿向包括奥迪、玛莎百货和英国麦当劳在内的大型广告商道歉，这些广告商在发现他们的在线广告出现在恐怖组织和白人至上主义者的内容旁边后，撤回了他们的在线广告。美国电话电报公司（AT&T）、强生公司和其他主要美国广告商也出于同样的原因抵制了YouTube。
谷歌是否对这些内容视而不见是一个有争议的问题，主要是在该公司和反极端主义项目（CEP）之间，后者是一个非营利性非政府组织，成立于2014年，旨在监测和报告恐怖组织及其支持者的活动。更为确定的是，在谷歌庞大的YouTube网络上，没有简单的方法可以找到并删除所有甚至大部分从仅仅是挑衅性到完全呼吁暴力和仇恨的视频。包括Facebook、谷歌和Twitter在内的社交媒体网站在过去几年中使用了微软的PhotoDNA软件，取得了一些成功，以自动识别他们可能想要删除的静态图像——但没有类似的视频工具。社交媒体网站主要依靠其庞大的用户群来举报可能违反公司禁止发布恐怖主义宣传政策的视频。Facebook首席执行官马克·扎克伯格最近承诺增加3000名审核员，以帮助更好地监控发布到该网站的视频，这只能突显问题的严重性。正如Twitter去年至少在两篇单独的博文中指出的那样，在互联网上识别恐怖主义言论和招募工作没有“神奇的算法”。
视频签名
这个说法可能不会持续太久。PhotoDNA背后的关键研究人员表示，他正在开发一种名为eGLYPH的软件，该软件将PhotoDNA的基本原理应用于识别宣传恐怖主义的视频——即使这些片段经过编辑、复制或以其他方式更改。
大型视频文件为搜索工具带来了“严峻的问题”，因为根据质量的不同，它们可能包含每秒24或30个不同的图像，帮助微软开发PhotoDNA的达特茅斯学院计算机科学教授哈尼·法里德说，近十年前，微软开发了PhotoDNA，以打击网上儿童色情制品。法里德说，分析视频文件中单个图像的软件是不切实际的，因为需要计算机处理能力。他一直在努力开发eGLYPH的算法一年多，该算法分析视频、图像和音频文件，并创建一个独特的签名（称为“哈希值”），该签名可用于识别整个视频或视频中的特定场景。该软件可以将新发布的在线视频片段的哈希值与已知宣传恐怖主义的内容数据库中的签名进行比较。如果找到匹配项，则可以自动删除该新内容，或标记给人工审核。
eGLYPH的优势之一是，它无需大量计算能力即可快速创建视频签名，因为它分析帧之间的变化，而不是每帧中的整个图像。法里德说：“如果你拍摄一个人的视频，大部分内容都是相同的（从一帧到另一帧）。”这个想法是“将视频提炼到其本质”，仅在帧之间发生重大变化时才做记录——一个新人进入画面或相机镜头移动到关注新的事物。“我们拍摄这些视频，并尝试尽可能地删除数据中的冗余，并从剩下的数据中提取签名，”他说。
法里德在eGLYPH上的合作伙伴是CEP，该组织建立了一个庞大的哈希图像、音频文件和视频存储库，“其中包含最糟糕的内容——很少有人会不同意这些内容代表恐怖主义行为、极端主义宣传和招募材料，”CEP首席执行官和美国前大使马克·华莱士说。CEP与《大众科学》分享的数据库中的视频片段包括处决（其中几起是斩首）、爆炸和其他暴力行为。eGLYPH将其生成的签名与存储在CEP数据库中的签名进行比较。这在原则上类似于PhotoDNA，后者是为了创建和匹配发布在网络上的图像签名，并将其与美国国家失踪与受虐儿童中心组织标记为儿童色情制品的数据库中的图像签名进行匹配而开发的。
谢谢，但不必了
CEP已向试图跟上与恐怖主义相关的视频发布的社交媒体 outlets 提供免费访问 eGLYPH 和该组织数据库的权限。然而，Facebook、Twitter 和 YouTube 拒绝了 CEP 的提议，而是在 12 月宣布计划开发他们自己的共享恐怖主义视频哈希数据库。即使是为法里德在 eGLYPH 上的工作提供资金的微软也选择加入社交媒体联盟，并且对其对 eGLYPH 的持续承诺含糊其辞。
根据这些公司 12 月 5 日发布的联合声明，每家社交媒体公司都表示将创建自己的签名数据库，用于识别他们从服务中删除的“最极端和令人发指的恐怖主义图像和视频”。这些公司尚未透露关于其项目的许多细节，例如如何散列发布到其平台的新视频，或者如何将这些签名（他们称之为“指纹”）与数据库中存储的散列视频进行比较。每家公司将根据其各自的内容发布政策，独立决定是否从其网站和应用程序中删除被标记的视频。这些公司通过参考其 12 月的新闻稿和发布在其网站上的其他材料来回应《大众科学》的采访请求。
这些公司在清除支持或煽动恐怖主义的视频时采取分散方法的原因之一是，缺乏对“恐怖分子”或“极端分子”内容的普遍定义——社交媒体公司不太可能仅仅依赖反极端主义项目（CEP）或其同行机构的判断。例如，微软的政策是从其 Azure 云托管和其他服务中删除由联合国安理会综合制裁名单上的组织制作或支持的任何内容，该名单包括奥拉基和许多 ISIS 成员。
在 Facebook 上，用户举报可能违反该公司规则的内容次数越多，就越有可能引起该公司的注意，该公司应用机器学习主管 Joaquin Candela 在 2 月份在纽约市举行的 Facebook 人工智能活动上表示。Candela 没有具体评论 12 月宣布的项目，但他表示 Facebook 正在开发人工智能算法，该算法可以分析视频帖子中违反该公司社区标准的内容。创建该算法的主要挑战之一是 Facebook 每天收到的帖子数量巨大。据该公司称，去年，全球 Facebook 用户每天观看 1 亿小时的视频。另一个挑战是调整算法，使其能够准确识别应删除的内容，而不会错误地标记符合 Facebook 规则的图像和视频。
Twitter 最初仅依靠其用户来发现每天发布的数亿条推文中可能违反该公司内容发布规则的推文。然而，对 Twitter 似乎无法控制与恐怖主义相关的推文的批评日益增多，促使该公司采取更积极主动的措施。仅在 2016 年下半年，Twitter 就暂停了 376,890 个帐户，“原因涉及宣传恐怖主义”，根据该公司3 月份的“透明度报告”。据该公司称，被暂停的账户中，近四分之三是由 Twitter 的反垃圾邮件工具发现的。
YouTube 的社区准则禁止旨在“招募恐怖组织、煽动暴力、庆祝恐怖袭击或以其他方式宣传恐怖主义行为”的视频。但是，该网站允许用户发布“旨在记录与恐怖主义行为相关的事件或关于恐怖主义活动的新闻报道”的视频，前提是这些片段包含“足够的内容和意图”。这条细线给任何旨在自动查找被禁止片段的软件带来了困境，这可能解释了为什么 YouTube 主要依靠其网站的访问者来标记不当内容。YouTube 在 2010 年 11 月宣布，它已删除了数百个以奥拉基的暴力呼吁为内容的视频，尽管他的许多演讲仍然可以在该网站上找到——反极端主义项目在今年 2 月统计出71,400 个带有他部分言论的视频。
社交媒体公司已经开始接受这样一种观念，即他们需要采取更多措施来阻止恐怖主义内容出现在他们的网站上。他们越来越多地增加对视频的禁令，这些禁令是被 YouTube 社区准则禁止的。“其中一些与企业责任有关，但绝大多数可能与公共关系有关，”反极端主义项目的休斯说。公平地说，ISIS 劫持社交媒体的努力造成了这些公司在构建连接朋友和发布随机想法的数字平台时可能没有预料到的哲学和技术问题，他说。“有一个学习曲线。需要一段时间才能了解信息如何在网上传播，并找出应该删除哪些账户以及如何删除它们。”
针对社交媒体的案例
过去一年中针对主要社交媒体公司提起的三个诉讼旨在加速这一学习曲线。这些诉讼涵盖了马丁的脉动夜总会袭击事件，以及 2015 年 11 月巴黎和 2015 年 12 月加利福尼亚州圣贝纳迪诺的（pdf）大规模枪击事件。这些诉讼声称，Facebook、Google 和 Twitter“明知且鲁莽地”为 ISIS 提供了使用其社交网络作为“传播极端主义宣传、筹集资金和吸引新成员的工具”的能力。
Excolo Law——这家位于密歇根州南菲尔德的律师事务所代表恐怖主义受害者的家属提起诉讼——列举了袭击者在袭击发生之前甚至期间使用社交媒体的具体案例。在丈夫兼妻子赛义德·里兹万·法鲁克和塔什芬·马利克在圣贝纳迪诺杀害 14 人并致伤 22 人，并在他们被执法部门击毙的期间，马利克在 Facebook 上发布了一段视频，表示她效忠 ISIS，根据向加利福尼亚州中部地区美国地方法院提起的诉讼。“如果他们将他们用于定向广告的十分之一的精力用于阻止恐怖分子使用他们的网站，我们就不会进行这种讨论了，”Excolo Law 的首席律师基思·奥特曼说。
《大众科学》联系了 Facebook、Google 和 Twitter，请他们就这些诉讼发表评论。只有 Facebook 回复说：“我们对受害者及其家人表示同情。我们的社区标准明确表示，Facebook 上不容许从事恐怖主义活动的团体或表达支持此类活动的内容，当此类内容被举报给我们时，我们会迅速采取行动将其删除。”
对社交媒体公司反复出现的批评是，他们对网站上滋生的危险内容反应太慢。“在 2015 年，我们开始与社交媒体公司接触，说‘存在一个问题，我们认为你们应该采取一些具体步骤来解决它’，”反极端主义项目执行主任 David Ibsen 说。“我们并没有得到他们最热情的响应。很多反对意见是，没有技术解决方案，问题太大了，涉及言论自由问题，这违背了我们自由表达的精神——所有这些不同的事情。”反极端主义项目通过转向法里德来挑战这些借口。“他说有一种技术解决方案可以解决从互联网上删除极端主义内容的问题，而且他一直在研究它，”伊布森说。“这是你第一次听到一位公认的计算机工程师说科技公司所说的不真实，确实存在技术解决方案。”
未解决的问题
无论反极端主义项目和社交媒体公司是否走到一起，他们正在开发的技术都无法阻止 ISIS 或其支持者在 Facebook Live 或 Twitter 的 Periscope 等服务上直播袭击或宣传演讲的视频。法里德说，这样的视频在数据库中没有匹配的签名，任何标记新视频的尝试都需要一个定义“恐怖主义”的算法，以便它知道要查找什么。“当我看到它时，我就知道它，”他解释道。“但我不知道如何为软件程序定义它，而不会触发大量的误报。”在视频中自动识别知名 ISIS 成员面孔的算法“效果相当好”，但其准确性和速度远不足以跟上在线传输的大量视频，他补充说：“我不认为这个问题会在未来十年内在互联网规模上得到解决。”Facebook 无法阻止人们通过 Facebook Live 发布谋杀和自杀的现场录像，这突显了法里德的观点。
即使主要的社交媒体公司继续与 eGLYPH 和反极端主义项目保持距离，华莱士仍然希望互联网服务提供商和较小的社交媒体公司可能仍然对该技术感兴趣。“无论如何，我们希望它能成为一个工具，促使人们直面这个问题，”他说。
法里德承认，减少 ISIS 对社交媒体的使用只是更大规模战斗的一部分，这场战斗包含许多组成部分——社会经济、政治、宗教和历史。“我听到有人说这个[软件]不会起任何作用，”他说。“我的回应是：如果你解决问题的标准是，‘要么我彻底解决问题，要么我什么都不做，’那么我们在任何方面的进步都将完全受到阻碍。”