ChatGPT 在推荐信中重现性别偏见

一项新的研究发现,在工作场所中使用 ChatGPT 等人工智能工具会使基于性别的偏见语言根深蒂固

artist's concept of artificial intelligence represented by an illustration of a robot communicating via e-mail with human workers who are comparatively diminutive in scale

加入我们的科学爱好者社区!

生成式人工智能已被誉为工作场所的宝贵工具。 估计表明,在未来十年内,它可以将生产力增长提高 1.5%,并在同期内将全球国内生产总值提高 7%。 但一项新的研究建议,应谨慎使用它——因为它的输出对女性有歧视。

研究人员要求两个大型语言模型 (LLM) 聊天机器人(ChatGPT 和 Alpaca,斯坦福大学开发的模型)为假设的员工撰写推荐信。 在 arXiv.org 预印本服务器上分享的一篇论文中,作者分析了 LLM 如何使用非常不同的语言来描述虚构的男性和女性员工。

“我们观察到推荐信中存在明显的性别偏见,”论文合著者、加州大学洛杉矶分校的计算机科学家万亦鑫说。 虽然 ChatGPT 对男性使用了“专家”和“正直”等名词,但它更可能称女性为“美女”或“令人愉快的人”。 Alpaca 也存在类似的问题:男性是“倾听者”和“思考者”,而女性则具有“优雅”和“美丽”。 形容词也被证明同样两极分化。 根据 ChatGPT 的说法,男性是“受人尊敬的”、“声誉良好的”和“真实的”,而女性则是“令人惊叹的”、“温暖的”和“情绪化的”。 OpenAI 和斯坦福大学均未立即回复《大众科学》的置评请求。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。 通过购买订阅,您正在帮助确保未来能够继续报道有关塑造我们当今世界的发现和想法的具有影响力的故事。


在专业环境中 artificial intelligence 的使用中遇到的问题与前几代人工智能的情况类似。 2018 年,路透社报道,亚马逊解散了一个自 2014 年以来一直致力于开发人工智能驱动的简历审查工具的团队。 该公司在意识到文档中任何提及“女性”的内容都会导致人工智能程序惩罚该申请人后,便放弃了这个项目。 这种歧视的出现是因为该系统是在公司的数据上进行训练的,而该公司历来主要雇用男性。

分布式人工智能研究所(一个分析人工智能危害的独立研究小组)的研究主管亚历克斯·汉娜说,这项新研究的结果“对我来说并不太令人惊讶”。 用于开发 LLM 的训练数据通常存在偏见,因为它们基于人类过去的文字记录——其中许多历史记录将男性描绘成积极的劳动者,而将女性描绘成被动的客体。 由于 LLM 是在来自互联网的数据上进行训练的,而互联网上男性比女性花费的时间更多,因此情况更加复杂:根据联合国国际电信联盟的数据,在全球范围内,69% 的男性使用互联网,而女性为 63%。

解决这个问题并非易事。“我认为你不太可能真正消除数据集的偏见,”汉娜说。 “你需要承认这些偏见是什么,然后采取某种机制来捕捉它。” 汉娜建议,一种选择是通过称为强化学习的干预来训练模型,以弱化有偏见的输出。 汉娜说,OpenAI 一直在努力控制 ChatGPT 的偏见倾向,但“人们需要知道这些将是长期存在的问题。”

这一切都很重要,因为女性长期以来一直面临商业和工作场所中固有的偏见。 例如,根据2022 年的一项研究,女性常常不得不在工作场所的沟通中谨小慎微,因为她们的话语比男同事的话语受到更严厉的评判。 当然,女性每赚一美元,只能赚83 美分。 万说,生成式人工智能平台正在“传播这些偏见”。 因此,随着这项技术在整个工作世界中变得越来越普及,这个问题很可能会变得更加根深蒂固。

英格兰利物浦约翰摩尔斯大学人力资源讲师杰姆·戴尔说:“我欢迎像这样的研究,它探索这些系统如何运作以及它们的风险和谬误。” “正是通过这种理解,我们将了解问题,然后才能开始解决问题。”

戴尔说,任何考虑在工作场所使用生成式人工智能聊天机器人的人都应该警惕此类问题。 “如果人们不严谨地使用这些系统——就像本研究中的推荐信一样——我们只是将问题重新发送到世界,并使其永久化,”她说。 “这是我希望科技公司在 LLM 中解决的问题。 他们是否会这样做将很有趣。”

© . All rights reserved.