本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定代表《大众科学》的观点
在2013年的一篇帖子中，Facebook首席执行官马克·扎克伯格勾勒了一个“粗略的计划”，旨在为全世界提供免费的基础互联网，从而传播机会和互联互通。然而，联合国人权理事会报告称，在缅甸，Facebook为实现这一愿景所做的努力加速了仇恨言论，煽动了分裂，并在罗兴亚种族灭绝中煽动了线下暴力。免费的基础互联网现在是对技术对社会影响的复杂性的警示。对于教育领域的人工智能研究员克里斯，以及科学教育工作者和国际网络政策研究者丽莎来说，这个例子让人们停下来思考：人工智能在教育领域可能会产生哪些意想不到的后果？
许多人寄希望于人工智能驱动的工具来解决扩大优质教育规模的需求，这并非没有道理。在线课程中教育内容的激增、数字设备访问范围的扩大以及当代人工智能的复兴似乎为大规模提供个性化学习提供了必要的要素。然而，技术在解决社会问题方面有着不良记录，常常会造成意想不到的伤害。我们能预测哪些负面影响？我们如何改进人工智能研究人员的目标以解决这些意想不到的后果？
几十年来，人工智能在教育领域的圣杯一直是创建自主辅导员：一种可以监控学生进步、了解他们所知和动机并提供最佳自适应学习体验的算法。有了自主辅导员，学生可以在世界任何地方的家中学习。然而，2020年的自主辅导员与这个理想相去甚远。使用自主辅导员进行教育通常会让学生参与到算法容易解释的问题中，而不是让学习者感到快乐。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过 订阅来支持我们屡获殊荣的新闻报道。通过购买订阅，您正在帮助确保关于当今塑造我们世界的发现和想法的有影响力的故事的未来。
目前的算法无法解读动机，也远不能产生长期的学习收益，而是专注于让学生在短期内参与进来。技术挑战是巨大的：构建理想的自主辅导员可能与实现真正通用人工智能一样困难。研究界已将此视为一项挑战：我们只需要克服我们的技术缺陷，即可实现乌托邦式的梦想。
但是，自主辅导员的乌托邦值得我们为之努力吗？我们提出了一些因使用人工智能系统（如自主辅导员）而产生的危险，并呼吁研究如何利用人工智能在教育领域的应用潜力，同时降低风险。我们相信，我们精心开发的人工智能系统与具有自然智能的人类协同工作的愿景可以支持世界各地广泛的学习者群体。
将人工智能融入教育的三个危险
1. 破坏社会情感联系和技能。学生去学校的原因有很多，除了死记硬背的知识之外，还包括发展社会情感技能、人类指导和人类社区。对于人类教师和传统课堂的所有潜在缺陷，取代这些结构是有代价的。我们中的许多人记得从老师那里学到东西，他们的指导和引导远远超出了他们负责教授的科目。人工智能会取代这些互动吗？
此外，孤独感正在上升，年轻一代比年长一代更孤独。一项研究发现青少年抑郁症与屏幕时间之间存在关联，而那些花时间进行非屏幕活动（如面对面社交互动、体育运动或家庭作业）的青少年则不然。减少屏幕时间可能会显著提高同理心水平。由于联合国教科文组织正在考虑重新调整教育目标，以强调发展社会情感能力，从而实现和平与可持续的社会，因此，强迫儿童面对屏幕可能会破坏这些目标。
然而，人工智能系统往往被设计为最大限度地增加学生在线时间。即使是开发成瘾技术的管理人员也了解这些风险，因为许多人将自己的孩子送到昂贵的无屏幕私立学校，以享受“人际互动的奢侈”，而较贫困的学生则被推向廉价的技术解决方案。除此之外，人工智能驱动的学习模块可能会削弱重要的元学习技能，如自我调节能力，因为学生可能会适应机器来完成调节注意力的工作，而未能培养自己这样做的能力。同样，学生可能会失去独立适应现实世界中不提供即时反馈或指导的创造性任务的能力。
与此同时，人工智能在课堂中引入的干扰可能会蔓延到家庭和社区。包括教师和家长在内的权威人士可能不容易适应完全移植到数字设备上的课程，无论这些技术展现出多少“人性”。这种抵制在生活贫困的传统社区中可能最为强烈，其中一些人认为人工智能技术具有最大的潜在影响，因为不习惯孩子花时间在屏幕上的家庭可能会抵制从人类指导到人工智能辅导员的转变。
如果事实证明这些工具在提高知识方面不如我们所希望的那样好，那么为了换取较少的人类主导的学习而增加知识获取的权衡尤其不利。考虑到动机在学习中起着至关重要的作用，以及我们尚未克服的技术挑战，这是一种明显的可能性。
2. 在教育中滥用人工智能以扩大权力。我们还必须考虑，心怀恶意的人会利用新出现的强大而激励人心的教育工具来教授暴力主题的可能性。正如Facebook的崛起既放大了破坏性组织又放大了民主组织一样，新出现的有效教学工具可以帮助恐怖分子扩大关于破坏行为的培训。此外，在人工智能辅导员中培养类似人类的同理心的目标将需要处理学习者情感和心理状态的深度个人数据。压迫性政府会利用从学童时期起收集到的公民的心理情感数据进行迫害或巩固权力吗？或者，看似更良性的情况：富人会变得更富吗？
尽管倡导者鼓吹人工智能支持的教育工具在全球范围内实现教育民主化的潜力，但研究人员必须考虑这些工具如何延续或加剧不平等。有权使用数字工具的特权群体成为当前人工智能算法的训练数据来源。当机器学习算法在某个数据集上进行训练时（可能是来自美国的白人学生比例过高），结果可能会对来自其他背景的群体产生偏见，因此在用于不同群体时可能无效甚至具有歧视性。
此外，通过集中式模式扩大教育规模会减少决定教授内容的发言权。考虑到教学对于那些教授的人来说也是一种很好的学习工具，因此选择谁来教授就变成了选择谁来学习。是的，在几乎没有教科书的社区提供新工具将提供一种知识获取途径。然而，推广中央倡导的课程可能会强制执行统一的学习目标，并剥夺当地知识提供者的权力。正如Taskeen Adam所说，“随着技术在全球范围内渗透到各个社区，新自由主义价值观也随之而来，以至于这些价值观成为价值体系，当地的、文化的或宗教的价值观被置于次要地位（如果它们完全符合的话）。”未能考虑到当地的声音将使这些技术与教育差距最大的社区无关，甚至毫无用处，这些社区可能会完全拒绝这些技术，从而加剧他们试图纠正的不平等现象。
3. 侵犯儿童权利：缺乏数据隐私和网络安全。当人工智能针对尚未能同意收集其个人数据的年轻学习者以及可能不了解共享个人数据或与网上匿名陌生人互动的风险的最需要帮助的学习者时，如何使用大量个人数据进行个性化学习，同时保护个人隐私和偏好的挑战上升到了危险的程度。对于那些花时间管理在线互动的人来说，连接世界各地学习者的平台并非乌托邦。“只要有在线交流和儿童，就会有儿童剥削，”Facebook前首席安全官亚历克斯·斯塔莫斯说。
安全研究人员通常称之为“乐高阴茎问题”，指的是一款允许用户创建和分享乐高结构的乐高大型多人在线游戏。用户开始用乐高积木搭建阴茎，并与其他玩家分享。该公司的工作人员感叹他们无法以足够快的速度“检测阴茎”，以防止玷污其适合儿童的品牌。最终，保持符合美国《儿童在线隐私保护法》的内容审核被证明过于昂贵，并可能在游戏的关闭中发挥了作用。
据斯塔莫斯说，从乐高到Roblox再到Fortnite的每个平台都经历了各种类型的儿童剥削，而在不太熟悉互联网的社区中，剥削可能会加剧。为了实现在线教育支持最不发达国家的承诺，研究人员必须考虑到新在线工具用户在面对恶意行为者（即使是最有经验的用户也会被他们利用）时的安全性。
迈向更好的愿景
风险的存在并不需要消除我们的乐观情绪；相反，它可以成为发展更成熟目标的力量。许多人描绘了更好的教育系统的愿景。我们呼吁人工智能研究界和教育政策界共同构想一系列人工智能教育的宏大挑战，这些挑战能更好地符合我们对教育的梦想，并更好地考虑到风险。我们提供六个目标进行讨论，并邀请公众加入对话。
我们将在这里众包新想法（署名作者）
1. 利用人工智能促进更多（和更高质量的）人际学习互动。人工智能的发展可以支持教育工作者和教育系统，通过自动化任务和开发激动人心的难题来实现，而不是取代教师。教师和工具可以协同工作：教师筛选来自人工智能的有益建议，并且工具支持教师进行评分和跟踪学生。
2. 利用人工智能生成启发性的问题。人工智能还可以帮助在当地环境中创建和传播有趣的问题。机器学习可以创作出看起来像伦勃朗作品的绘画。我们能否也使用算法来创建引人入胜、个性化的活动？这种结合可以建立一个丰富的教学和学习生态系统，其中社交和情感互动得到加强，而不是被技术取代。
3. 低数据反馈。鼓舞人心、开放式的作业为探索和创造力提供了机会。如果人工智能的设计旨在支持和提供对此类问题的反馈，它就可以帮助教师。然而，目前的方法需要大量学生的数据库，才能对开放式作业实现有意义的人工智能驱动的反馈。我们需要学习在不消耗大量学生数据的情况下实现这一点。低数据人工智能似乎很有希望，并降低了数据滥用的风险。低数据是实用的，因为解决方案不必等待数百万学生在每个作业上充当小白鼠来训练我们的算法。
4. 利用人工智能理解过程。目前，人工智能在教授死记硬背、结构化的课程方面最有效，而不是支持在现代世界蓬勃发展所必需的创造性、开放式、基于团队的学习。一项当前的研究方向侧重于理解过程和学习能力，而不仅仅是最终产品。对于教师（尤其是在大型课堂中）来说，不可能像钢琴老师对学生的手部姿势提供反馈那样关注每一位学生。人工智能驱动的工具可以与教师协同工作来监控过程，而教师仍然是教练，避免了破坏允许社会情感学习的学校环境。人工智能和人类智能的混合模型可以帮助教师深入了解学生的学习过程，从而提升教师作为教练和导师的角色。
5. 利用人工智能翻译教育内容。内容的传播一直是不均衡的，尤其是在低资源语言方面。自然语言处理是人工智能的一个分支，它能够很好地支持翻译，这有助于在最需要的地方提供包容性教育，并鼓励社区从基层开始开发教育技术，而不是由西方强加。
6. 利用人工智能进行儿童安全风险检测。应投入大量精力开发可扩展的内容审核工具，以便在线学习空间对所有学习者（例如，来自恶意图像）都是安全的，特别是儿童和处于弱势环境中的人。
人工智能在促进快乐学习方面具有巨大潜力，但这只有在适当解决所讨论的担忧后才能实现。教育政策界和正在开发大规模部署的人工智能工具的研究人员共同承担着重大责任。我们必须共同考虑我们技术的各种可能应用，包括有害的应用。我们邀请公众加入关于这些人工智能挑战的对话，以及如何减轻其潜在危害并促进人类的蓬勃发展。
教育人工智能似乎是一种纯粹的优点；然而，在这个领域，就像在医学领域一样，也适用希波克拉底誓言：首先，不造成伤害。