最近，苹果发布了三项旨在保护儿童安全的新功能。其中一项名为“信息中的通信安全”的功能，将扫描13岁以下用户的iMessage信息，以识别和模糊露骨的性图像，并在他们的孩子打开或发送包含此类图像的信息时提醒父母。乍一看，这似乎是减轻年轻人被成年掠食者剥削风险的好方法。但是，它可能弊大于利。
虽然我们希望所有父母都想保护自己的孩子，但这对于许多孩子来说并非现实。特别是 LGBTQ+ 青少年，他们遭受父母暴力和虐待的风险很高，无家可归的可能性是其他人的两倍，并且占寄养系统的 30%。此外，他们更有可能发送露骨的图像，例如苹果公司试图检测和报告的那些图像，部分原因是缺乏性教育。将孩子的短信行为报告给他们的父母可能会暴露他们的性偏好，这可能导致暴力甚至无家可归。
这种危害因该功能所依赖的技术不太可能准确检测有害的露骨图像而加剧。苹果表示，它将使用“设备上的机器学习来分析图像附件，并确定照片是否露骨”。所有 13 岁以下人士的苹果账户发送或接收的照片都将被扫描，如果此账户与指定的父母账户关联，则会发送父母通知。
支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保关于塑造我们当今世界的发现和想法的有影响力的故事的未来。
目前尚不清楚该算法的工作效果如何，也不清楚它将准确检测到什么。一些色情内容检测算法会根据皮肤暴露的百分比来标记内容。例如，该算法可能会标记母亲和女儿在海滩上穿泳衣的照片。如果两个年轻人互相发送一张衣着暴露的名人的照片，他们的父母可能会收到通知。
计算机视觉是一个出了名的难题，现有的算法（例如，用于人脸检测的算法）存在已知的偏差，包括它们经常无法识别非白人面孔的事实。苹果系统出现不准确的风险尤其高，因为大多数学术界发布的裸体检测算法都使用成年人的图像进行训练。苹果公司没有公开他们正在使用的算法，所以我们不知道它的工作效果如何，特别是对于检测年轻人自己拍摄的图像——这大概是最令人担忧的。
这些算法准确性的问题令人担忧，因为它们可能会误导年轻人的期望。当我们过度热情地宣布某种行为“不好”或“危险”时——即使是青少年之间分享泳衣照片——我们会模糊年轻人识别真正有害的事情发生的能力。
事实上，即使有了这个功能，我们也在教导年轻人他们没有隐私权。剥夺年轻人的隐私和同意权与联合国儿童基金会的循证指南中关于预防在线和线下儿童性剥削和虐待的建议完全相反。此外，此功能不仅有可能造成伤害，而且还为更广泛地侵入我们的私人对话打开了大门，包括政府的侵入。
在设计技术以确保年轻人在线安全方面，我们需要做得更好。首先要让潜在的受害者自己参与安全系统的设计。正如围绕设计正义的日益增长的运动所表明的那样，让受技术影响最大的人参与进来是防止伤害和设计更有效解决方案的有效方法。到目前为止，青少年还没有参与技术公司或研究人员正在进行的对话。他们需要参与进来。
我们还必须记住，技术不能单独解决社会问题。重要的是要将资源和精力集中在首先防止有害情况的发生。例如，遵循联合国儿童基金会的指南和基于研究的建议，扩大全面的、基于同意的性教育计划，以帮助年轻人安全地学习和发展他们的性行为。
这是一篇观点和分析文章；作者或作者表达的观点不一定代表《大众科学》的观点。