今年，GPT-3，一个能够理解文本、回答问题和生成新写作示例的大型语言模型，引起了国际媒体关注。该模型由位于加利福尼亚州的非营利组织 OpenAI 发布，该组织致力于构建通用人工智能系统。GPT-3 在模仿人类写作方面表现出令人印象深刻的能力，但同样引人注目的是其庞大的规模。为了构建它，研究人员收集了 1750 亿个参数（一种计算单元）和超过 45 TB 的文本，这些文本来自 Common Crawl、Reddit、维基百科和其他来源，然后在数百个处理单元中进行了数千小时的训练。
GPT-3 展示了人工智能领域的更广泛趋势。深度学习近年来已成为创建新型人工智能的主流技术，它使用大量数据和计算能力来驱动复杂而精确的模型。大型公司和顶尖大学的研究人员更容易获得这些资源。因此，西安大略大学的一项研究表明，人工智能领域出现了“去民主化”：能够为前沿发展做出贡献的研究人员数量正在减少。这缩小了能够定义这项关键技术研究方向的人员范围，而这项技术具有社会影响。这甚至可能导致人工智能发展面临的一些伦理挑战，包括侵犯隐私、偏见和大型模型对环境的影响。
为了应对这些问题，研究人员正试图弄清楚如何事半功倍。最近的一项进展被称为“少于一次”样本学习（LO-shot learning），由伊利亚·苏霍卢茨基和马蒂亚斯·肖恩劳[Office1] [RK2] （来自滑铁卢大学）开发。LO-shot 学习背后的原则是，人工智能应该能够在不被输入每个物体的示例的情况下学习关于世界上的物体。这一直是当代人工智能系统的一个主要障碍，这些系统通常需要数千个示例才能学会区分物体。另一方面，人类通常能够从现有示例中抽象出来，以便识别以前从未见过的新项目。例如，当展示不同的形状时，儿童能够轻松区分示例，并识别他们所看到的形状与新形状之间的关系。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您将帮助确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
该团队首先通过一种称为软蒸馏的过程引入了这种学习方式。美国国家标准与技术研究院维护的图像数据库 MNIST 包含 60,000 个从 0 到 9 的手写数字示例，该数据库被提炼成五个图像，这些图像融合了各种数字的特征。在仅展示这五个示例后，滑铁卢大学的系统能够准确分类数据库中剩余图像的 92%。
在他们最新的论文中，该团队扩展了这一原理，表明从理论上讲，LO-shot 技术允许人工智能潜在地学习区分数千个物体，即使给定的数据集只有两个示例。与传统的深度学习系统相比，这是一个巨大的进步，在传统的深度学习系统中，随着区分更多物体的需求，数据需求呈指数级增长。目前，LO-shot 的小数据集需要经过精心设计，以提炼出各种物体类别的特征。但苏霍卢茨基正在寻求通过研究现有小数据集中已捕获的物体之间的关系来进一步发展这项工作。
允许人工智能使用明显更少的数据进行学习对于以下几个原因很重要。首先，它更好地概括了实际的学习过程，迫使系统推广到它没有见过的类别。通过构建捕获物体之间关系的抽象，这项技术还降低了产生偏见的可能性。目前，深度学习系统容易受到偏见的影响，这种偏见源于它们用于训练的数据中的无关特征。这个问题的一个著名例子是，当展示雪地环境中的狗的图像时，人工智能将狗分类为狼——因为大多数狼的图像都以雪为背景。能够集中关注图像的相关方面将有助于防止这些错误。因此，减少数据需求使这些系统更不易受到这种偏见的影响。
其次，需要使用的数据越少，建立更好的算法来监视人们的动机就越小。例如，软蒸馏技术已经影响了医疗人工智能研究，该研究使用敏感的健康信息来训练其模型。在一篇最近的论文中，研究人员在基于小型、保护隐私的数据集的诊断 X 射线影像中使用了软蒸馏。
最后，允许人工智能使用较少的数据进行学习有助于人工智能领域的民主化。对于规模较小的人工智能，学术界可以保持相关性，并避免教授被工业界挖走的风险。LO-shot 学习不仅通过降低培训成本和数据需求来降低准入门槛，而且还为用户提供了更大的灵活性来创建新颖的数据集并尝试新方法。通过减少花费在数据和架构工程上的时间，希望利用人工智能的研究人员可以将更多时间集中在他们旨在解决的实际问题上。