2020年，Collaborations Pharmaceuticals公司是一家专门寻找罕见病和传染病新候选药物的公司，收到了一项不寻常的请求。这家位于北卡罗来纳州罗利市的私营公司被邀请在一次关于化学和生物武器的国际会议上发表演讲。演讲内容是关于通常用于开发治疗Pitt-Hopkins综合征或查加斯病等疾病的药物的人工智能软件，如何可能被转移到更邪恶的目的。
为了回应邀请，Collaborations公司的首席执行官肖恩·埃金斯开始与公司高级科学家法比奥·乌尔比纳进行头脑风暴。他们很快就想出了一个主意：如果Collaborations公司不是使用动物毒理学数据来避免药物的危险副作用，而是让其基于人工智能的MegaSyn软件生成与臭名昭著的神经毒剂VX相似的有毒分子纲要，会怎么样？
该团队连夜运行了MegaSyn，得到了40,000种物质，不仅包括VX和其他已知的化学武器，还包括许多全新的潜在有毒物质。这一切只需要一点编程、开源数据、一台2015年的Mac电脑和不到六个小时的机器时间。“感觉有点超现实，”乌尔比纳说，他评论说该软件的输出与公司的商业药物开发过程相似。“这与我们以前做过的任何事情没有什么不同——使用这些生成模型来生成有希望的新药。”
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您将有助于确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
Collaborations公司在瑞士施皮茨举行的CONVERGENCE会议上展示了这项工作，该会议每两年举行一次，旨在评估生物和化学研究中可能对国家安全构成威胁的新趋势。乌尔比纳、埃金斯及其同事甚至在《自然-机器智能》杂志上发表了一篇同行评议的评论，介绍了该公司的研究——并继续向白宫科技政策办公室简要介绍了研究结果。“我们的感觉是，[这项研究]可以为该领域的政策制定提供有用的跳板，”伦敦国王学院科学与安全研究中心联合主任、该论文的合著者菲利帕·伦佐斯说。
与该公司日常工作的惊人相似性令人震惊。乌尔比纳说，研究人员之前曾使用MegaSyn生成具有治疗潜力的分子，这些分子具有与VX相同的分子靶点。这些被称为乙酰胆碱酯酶抑制剂的药物可以帮助治疗阿尔茨海默病等神经退行性疾病。对于他们的研究，研究人员仅仅要求该软件生成与VX相似的物质，而没有输入该分子的确切结构。
包括MegaSyn在内的许多药物发现人工智能都使用人工神经网络。“基本上，神经网络告诉我们应该走哪条路才能到达特定的目的地，即生物活性，”马里兰大学药学院计算机辅助药物设计中心主任亚历克斯·麦克雷尔说，他没有参与这项研究。人工智能系统根据某些标准（例如，它抑制或激活特定蛋白质的程度）对分子进行“评分”。较高的分数告诉研究人员，该物质可能更可能具有期望的效果。
在该公司的研究中，该公司的评分方法显示，MegaSyn生成的许多新型分子预计比VX更具毒性，这一认识让乌尔比纳和埃金斯都感到不安。他们想知道，他们是否甚至在运行该程序时就已经越过了道德界限，并决定不再进一步在计算上缩小结果范围，更不用说以任何方式测试这些物质了。
埃默里大学生物伦理学家和伦理中心主任保罗·鲁特·沃尔普说：“我认为他们的伦理直觉是完全正确的，”他没有参与这项研究。沃尔普经常撰写和思考与人工智能等新兴技术相关的问题。他说，一旦作者认为他们可以证明这是一种潜在的威胁，“他们的义务是不再进一步推进。”
但一些专家表示，这项研究不足以回答关于使用人工智能软件寻找毒素是否实际上可能导致实际生物武器的开发的重要问题。
乔治梅森大学政策与政府学院生物防御项目副教授索尼娅·本·瓦格拉姆-戈姆利评论说：“过去武器计划中实际武器的开发一次又一次地表明，理论上看起来可能的事情在实践中可能不可行，”她没有参与这项研究。
约翰·霍普金斯大学西德尼·基梅尔综合癌症中心定量科学副主任埃拉娜·费尔蒂格也表示，尽管存在这一挑战，但人工智能可以快速生成大量潜在危险物质的便利性仍然可以加快制造致命生物武器的过程，她也没有参与这项研究。
为了使人们更难以滥用这些技术，该论文的作者提出了几种方法来监控和控制谁可以使用这些技术以及如何使用它们，包括等待名单，这将要求用户在访问可能被轻易滥用的模型、数据或代码之前，必须经过预先筛选程序以验证其资质。
他们还建议通过应用程序编程接口 (API) 向公众展示药物发现人工智能，API 是一个中间媒介，允许两个软件相互对话。用户必须专门从 API 请求分子数据。埃金斯在给大众科学的电子邮件中写道，API 的结构可以设置为仅生成可以最大限度地减少潜在毒性的分子，并且“要求用户以特定方式[应用]工具/模型”。可以访问 API 的用户也可能受到限制，并且可以设置用户一次可以生成的分子数量的限制。尽管如此，本·瓦格拉姆-戈姆利认为，在没有表明该技术可以轻易促进生物武器发展的情况下，这种监管可能为时过早。
对于他们自己而言，乌尔比纳和埃金斯认为他们的工作是引起人们对滥用这项技术问题的关注的第一步。“我们不想把这些东西描绘成坏的，因为它们实际上确实有很多价值，”埃金斯说。“但它也有阴暗面。这里有一个警示，我认为考虑这一点很重要。”