以下文章经 The Conversation 许可转载，这是一个报道最新研究的在线出版物。
对于某些人来说，“黑箱”一词让人联想到飞机上的记录设备，如果发生不可思议的事情，这些设备对于事后分析很有价值。 对于另一些人来说，它让人联想到小型、设备简陋的剧院。 但“黑箱”在人工智能领域也是一个重要的术语。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。 通过购买订阅，您正在帮助确保未来能够继续讲述关于发现和塑造我们当今世界的想法的有影响力的故事。
人工智能 黑箱 指的是内部运作对用户不可见的人工智能系统。 您可以向它们输入内容并获得输出，但您无法检查系统的代码或产生输出的逻辑。
机器学习是人工智能的主要子集。 它是生成式人工智能系统（如 ChatGPT 和 DALL-E 2）的基础。 机器学习有三个组成部分：算法或一组算法、训练数据和模型。 算法是一组程序。 在机器学习中，算法在经过大量示例（训练数据）训练后学会识别模式。 一旦机器学习算法经过训练，结果就是一个机器学习模型。 模型是人们使用的东西。
例如，机器学习算法可以设计为识别图像中的模式，而训练数据可以是狗的图像。 由此产生的机器学习模型将是一个狗识别器。 您可以向其输入图像作为输入，并获得作为输出的图像中一组像素是否以及在何处代表狗。
机器学习系统的三个组成部分中的任何一个都可能被隐藏，或者放在黑箱中。 通常情况下，算法是公开的，这使得将其放入黑箱的效果降低。 因此，为了保护其知识产权，人工智能开发人员通常将模型放入黑箱中。 软件开发人员采取的另一种方法是模糊用于训练模型的数据——换句话说，将训练数据放入黑箱中。
黑箱的对立面有时被称为 玻璃箱。 人工智能玻璃箱是一个系统，其算法、训练数据和模型都可供任何人查看。 但研究人员有时甚至将这些系统的某些方面描述为黑箱。
这是因为研究人员 并不完全理解 机器学习算法，特别是 深度学习 算法是如何运作的。 可解释人工智能 领域正在努力开发算法，这些算法虽然不一定是玻璃箱，但可以更容易被人类理解。
为什么人工智能黑箱很重要
在许多情况下，有充分的理由对黑箱机器学习算法和模型保持警惕。 假设一个机器学习模型对您的健康状况做出了诊断。 您希望模型是黑箱还是玻璃箱？ 开处方治疗方案的医生呢？ 也许她想知道模型是如何得出结论的。
如果一个决定您是否符合银行商业贷款资格的机器学习模型拒绝了您，该怎么办？ 您不想知道为什么吗？ 如果您知道原因，您可以更有效地对该决定提出上诉，或者改变您的情况以增加下次获得贷款的机会。
黑箱也对软件系统安全具有重要意义。 多年来，计算机领域的许多人认为，将软件保存在黑箱中可以防止黑客检查它，因此它是安全的。 这种假设在很大程度上被证明是错误的，因为黑客可以 逆向工程 软件——即通过密切观察一段软件的工作方式来构建一个副本——并发现可利用的漏洞。
如果软件在玻璃箱中，那么软件测试人员和善意的黑客可以检查它并告知创建者其弱点，从而最大限度地减少网络攻击。
本文最初发表于 The Conversation。 阅读 原文。