以下文章经许可转载自The Conversation，这是一个报道最新研究的在线出版物。
作为一名人工智能研究者，我经常遇到这样的观点：许多人们害怕人工智能可能带来的东西。考虑到历史和娱乐业，我们可能会害怕被控制论接管，迫使我们像《黑客帝国》一样被锁起来，作为某种人类电池生活。
支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保未来能够继续讲述关于塑造我们今天世界的发现和思想的具有影响力的故事。
然而，我很难从我用来开发人工智能的进化计算机模型中抬起头来，去思考我屏幕上那些天真的虚拟生物可能会变成未来的怪物。我可能会变成“世界的毁灭者”吗？就像奥本海默在领导建造第一颗原子弹后感叹的那样？
我想我会接受名声，但也许批评家是对的。也许我不应该回避这个问题：作为一名人工智能专家，我对人工智能有什么担忧？
对不可预见的恐惧
HAL 9000 计算机，由科幻小说作家亚瑟·C·克拉克构思，并由电影导演斯坦利·库布里克在《2001：太空漫游》中搬上银幕，就是一个因意外后果而失败的系统的绝佳例子。在许多复杂系统中——泰坦尼克号、美国宇航局的航天飞机、切尔诺贝利核电站——工程师们将许多不同的组件层层叠加在一起。设计师们可能很清楚每个元素是如何单独工作的，但对它们如何协同工作了解得不够。
这导致了永远无法完全理解的系统，并且可能以不可预测的方式失败。在每次灾难中——沉没一艘船、炸毁两架航天飞机以及在欧洲和亚洲传播放射性污染——一系列相对较小的故障结合在一起，造成了一场灾难。
我可以看到我们在人工智能研究中可能会陷入同样的陷阱。我们研究认知科学的最新研究成果，将其转化为算法，并添加到现有系统中。我们在不首先理解智能或认知的情况下尝试设计人工智能。
像 IBM 的沃森和谷歌的 Alpha 这样的系统为人工神经网络配备了强大的计算能力，并取得了令人印象深刻的成就。但是，如果这些机器犯了错误，它们会在《危险边缘！》中输掉比赛，或者无法击败围棋大师。这些都不是改变世界的后果；事实上，普通人可能因此遭受的最坏结果是输掉一些押注其成功的钱。
但是，随着人工智能设计变得更加复杂，计算机处理器变得更快，它们的技能也会提高。这将导致我们赋予它们更多的责任，即使意外后果的风险也在上升。我们知道“人非圣贤，孰能无过”，因此我们可能无法创建一个真正安全的系统。
对误用的恐惧
对于我正在开发的人工智能类型，我不太担心意外后果，我使用了一种称为神经进化的方法。我创建虚拟环境，并进化数字生物及其大脑来解决日益复杂的任务。评估生物的表现；表现最好的生物被选中繁殖，产生下一代。经过许多代，这些机器生物进化出认知能力。
目前，我们正在迈出婴儿般的步伐，进化出能够执行简单导航任务、做出简单决策或记住几个比特的机器。但很快，我们将进化出能够执行更复杂任务并具有更好通用智能的机器。最终，我们希望创造出人类水平的智能。
在这个过程中，我们将通过进化过程发现并消除错误和问题。每一代机器都在更好地处理前几代机器中发生的错误。这增加了我们在模拟中发现意外后果的可能性，这些意外后果可以在它们进入现实世界之前被消除。
另一种更遥远的可能是使用进化来影响人工智能系统的伦理。人类的伦理和道德，例如值得信赖和利他主义，很可能是我们进化的结果——并且是其延续的因素。我们可以设置我们的虚拟环境，让表现出善良、诚实和同理心的机器获得进化优势。这可能是一种确保我们开发出更听话的仆人或值得信赖的同伴，而不是无情的杀人机器人的方法。
虽然神经进化可能会降低意外后果的可能性，但它并不能阻止误用。但这是一个道德问题，而不是科学问题。作为一名科学家，我必须遵循我对真理的义务，报告我在实验中发现的东西，无论我是否喜欢这些结果。我的重点不是确定我是否喜欢或赞成某件事；重要的是我能够揭示它。
对错误的社会优先事项的恐惧
身为科学家并不能免除我的人性。在某种程度上，我必须重新联系我的希望和恐惧。作为一个有道德和政治的人，我必须考虑我的工作的潜在影响及其对社会的潜在影响。
作为研究人员，也作为整个社会，我们还没有对我们希望人工智能做什么或变成什么样子提出明确的想法。当然，部分原因是我们还不知道它有什么能力。但我们确实需要决定先进人工智能的期望结果是什么。
人们关注的一个重要领域是就业。机器人已经在做体力劳动，例如焊接汽车零件。在不久的将来，它们也可能做我们曾经认为只有人类才能完成的认知任务。自动驾驶汽车可能会取代出租车司机；自动驾驶飞机可能会取代飞行员。
患者可以不用在可能过度疲劳的医生值班的急诊室获得医疗救助，而是可以从专家系统中获得检查和诊断，该专家系统可以即时访问所有已收集的医学知识，并获得不知疲倦的机器人用完美稳定的“手”进行手术。法律建议可以来自一个全知全能的法律数据库；投资建议可以来自一个市场预测系统。
也许有一天，所有人类的工作都将由机器完成。即使是我自己的工作也可以由大量不知疲倦地研究如何制造更智能机器的机器更快地完成。
在我们当前的社会中，自动化将人们挤出就业岗位，使机器所有者变得更富有，而其他人则变得更贫穷。这不是一个科学问题；这是一个政治和社会经济问题，我们作为一个社会必须解决。我的研究不会改变这一点，尽管我的政治自我——与人类的其余部分一起——可能能够创造条件，使人工智能变得广泛有益，而不是增加百分之一的人与我们其余人之间的差距。
对噩梦情景的恐惧
还有最后一种恐惧，它体现在 HAL 9000、终结者和任何其他虚构的超级智能中：如果人工智能不断改进，直到超越人类智能，超级智能系统（或多个系统）是否会发现不再需要人类？面对超级智能能够做人类永远无法做到的事情，我们将如何证明我们存在的合理性？我们能否避免被我们帮助创造的机器从地球表面抹去？
这种情况下的关键问题是：超级智能为什么要保留我们？
我会争辩说，我是一个好人，甚至可能帮助促成了超级智能本身的诞生。我会呼吁超级智能具有同情心和同理心，以让我这个富有同情心和同理心的人活下去。我还会争辩说，多样性本身就具有价值，而且宇宙如此巨大，人类在宇宙中的存在可能根本无关紧要。
但我不代表全人类发言，我发现很难为我们所有人提出令人信服的论据。当我认真审视我们所有人时，有很多错误：我们互相憎恨。我们互相发动战争。我们没有平等地分配食物、知识或医疗援助。我们污染地球。世界上有很多美好的事物，但所有的坏事都削弱了我们被允许存在的论据。
幸运的是，我们还不需要为我们的存在辩护。我们还有一些时间——大约 50 年到 250 年之间，具体取决于人工智能的发展速度。作为一个物种，我们可以团结起来，为为什么超级智能不应该仅仅消灭我们提出一个好的答案。但这将是困难的：说我们拥抱多样性并实际做到是两回事——就像说我们想要拯救地球并成功做到一样。
我们所有人，无论是个体还是作为一个社会，都需要为那个噩梦情景做好准备，利用我们剩下的时间来证明为什么我们的创造物应该让我们继续存在。或者我们可以决定相信它永远不会发生，并完全停止担心。但是，无论超级智能可能带来的物理威胁如何，它们也构成了政治和经济危险。如果我们找不到一种更好地分配我们财富的方法，我们将用人工智能劳动力助长资本主义，而这些劳动力只为极少数拥有所有生产资料的人服务。
本文最初发表于The Conversation。阅读原文。