机器人或先进的人工智能“觉醒”并变得有意识是思想实验和科幻小说的主要内容。这是否真的可能仍然是一个备受争议的问题。所有这些不确定性使我们处于一个不幸的境地：我们不知道如何制造有意识的机器，并且（鉴于当前的测量技术）我们不会知道我们是否创造了一个。与此同时，这个问题非常重要，因为有意识机器的存在将产生巨大的伦理后果。
我们无法像检测青蛙和昆虫的意识一样，直接检测计算机及其运行的软件中的意识。但这并不是一个不可克服的问题。我们可以使用测量不可见光形式（例如 X 射线）的仪器来检测我们肉眼看不见的光。这种方法之所以有效，是因为我们有一个我们信任的电磁理论，并且我们有仪器可以为我们提供测量结果，我们可靠地认为这些测量结果表明存在我们无法感知到的东西。同样，我们可以发展出一个良好的意识理论，以创建一种测量方法，该方法可以确定无法说话的实体是否有意识，具体取决于它的工作方式和构成。
不幸的是，对于意识的理论尚未达成共识。最近一项对意识学者的调查显示，只有 58% 的学者认为最流行的理论，即全局工作空间（该理论认为人类的有意识思想是那些广泛分布到其他无意识大脑过程的思想），是有前景的。最流行的三种意识理论，包括全局工作空间理论，在计算机是否可能具有意识，或在何种条件下可能具有意识的问题上，存在根本分歧。缺乏共识是一个特别大的问题，因为每种衡量机器或非人类动物意识的方法都依赖于一种或另一种理论。在不决定理论的情况下，没有独立的方法来测试实体的意识。
支持科学新闻业
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻业 订阅。通过购买订阅，您正在帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
如果我们尊重我们在该领域专家中看到的不确定性，那么思考这种情况的理性方式是我们非常不清楚计算机是否可能有意识——以及如果可能有意识，那将如何实现。根据（可能尚未出现假设的）理论最终被证明是正确的，有三种可能性：计算机永远不会有意识，它们可能在未来某一天有意识，或者有些计算机已经有意识了。
与此同时，很少有人故意尝试制造有意识的机器或软件。原因是人工智能领域通常试图制造有用的工具，并且尚不清楚意识是否会对我们希望计算机执行的任何认知任务有所帮助。
与意识一样，伦理学领域也充满了不确定性，并且在许多基本问题上缺乏共识——即使在对该主题进行了数千年的研究之后也是如此。但一种普遍（尽管并非普遍）的想法是，意识与伦理学有重要的关系。具体而言，大多数学者，无论他们可能认可何种伦理理论，都认为体验愉快或不愉快意识状态的能力是使实体值得道德考虑的关键特征之一。这就是为什么踢狗是错误的，但踢椅子不是错误的。如果我们制造出可以体验积极和消极意识状态的计算机，那么我们对它们有什么伦理义务呢？我们将不得不对能够体验快乐或痛苦的计算机或软件给予道德考量。
我们制造机器人和其他人工智能来做我们不能做的工作，也做我们不想做的工作。如果这些人工智能拥有像我们一样的有意识的头脑，它们就应该得到类似的伦理考量。当然，仅仅因为人工智能是有意识的，并不意味着它会拥有与我们相同的偏好，或者认为相同的活动是不愉快的。但是，无论其偏好如何，在让该人工智能工作时都需要适当考虑。让有意识的机器做它痛苦地做的工作在伦理上是有问题的。这一点似乎很明显，但还有更深层次的问题。
将人工智能分为三个层次来考虑。有计算机或机器人——软件运行的硬件。其次是安装在硬件上的代码。最后，每次执行此代码时，我们都有一个正在运行的“实例”。我们对哪个级别有伦理义务？可能是硬件和代码级别无关紧要，而有意识的代理是代码运行的实例。如果有人有一台计算机运行一个有意识的软件实例，那么我们在伦理上是否有义务让它永远运行下去？
进一步考虑，创建任何软件主要是一个调试任务——一遍又一遍地运行软件实例，修复问题并尝试使其工作。如果在伦理上有义务即使在这个开发过程中也要保持运行每个有意识的软件实例呢？这可能是不可避免的：计算机建模是探索和测试心理学理论的一种有价值的方法。在伦理上涉足有意识的软件将很快成为巨大的计算和能源负担，而没有任何明确的终点。
所有这一切都表明，如果可以避免，我们可能不应该创造有意识的机器。
现在我要反过来说。如果机器可以拥有有意识的、积极的体验，那么在伦理学领域，它们被认为具有一定程度的“福利”，并且运行此类机器可以说会产生福利。事实上，机器最终可能比生物更能有效地产生福利，例如幸福或快乐。也就是说，对于给定的资源量，可能可以在人工系统中比在任何生物中产生更多的幸福或快乐。
例如，假设未来技术将允许我们创造一台小型计算机，它可以比欣快的人类更快乐，但只需要像灯泡一样多的能量。在这种情况下，根据某些伦理立场，人类的最佳行动方案将是尽可能多地创造人工福利——无论是在动物、人类还是计算机中。未来的人类可能会设定目标，将宇宙中所有可获得的物质都变成能够有效产生福利的机器，可能比任何生物产生的福利效率高 10,000 倍。这种奇怪的可能未来可能是最幸福的未来。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表《大众科学》的观点。