想象一下，在危机时刻拨打自杀预防热线。您会询问他们的数据收集政策吗？您是否认为您的数据受到保护并安全保存？最近发生的事件可能会让您更仔细地考虑您的答案。
心理健康技术，如机器人和聊天热线，为正在经历危机的人们提供服务。他们是任何技术中最脆弱的用户之一，他们应该期望自己的数据得到安全、保护和保密。不幸的是，最近的一些引人注目的例子表明，极其敏感的数据已被滥用。我们自己的研究发现，在收集数据时，心理健康人工智能算法的开发者只是测试它们是否有效。他们通常不解决关于如何使用它们的伦理、隐私和政治问题。至少，医疗保健伦理的相同标准应适用于用于提供心理健康护理的技术。
Politico最近报道称，危机文本热线（Crisis Text Line）是一个声称对处于危机中的人提供安全和保密资源的非营利组织，正在与其营利性衍生公司Loris AI共享从用户那里收集的数据，后者开发客户服务软件。危机文本热线的一位官员最初为数据交换辩护，称其符合伦理且“完全符合法律”。但在几天之内，该组织宣布已结束与Loris AI的数据共享关系，尽管它坚持认为数据已“安全处理、匿名化并清除了个人身份信息”。
支持科学新闻事业
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻事业 订阅。通过购买订阅，您正在帮助确保关于塑造我们当今世界的发现和想法的具有影响力的故事的未来。
Loris AI是一家使用人工智能开发基于聊天机器人的客户服务产品的公司，它使用了超过1亿次危机文本热线交流产生的数据，例如，帮助服务代理了解客户情绪。据报道，Loris AI已删除从危机文本热线收到的任何数据，尽管这是否延伸到基于这些数据训练的算法尚不清楚。
这一事件和其他类似事件揭示了心理健康数据作为机器学习一部分的价值日益增长，并说明了这些数据流动的监管灰色地带。脆弱或可能处于危机中的人们的福祉和隐私正受到威胁。他们是设计不良的数字技术的后果承担者。2018年，美国边境当局拒绝了几位曾试图自杀的加拿大人入境，理由是警方数据库中的信息。让我们思考一下。非犯罪的心理健康信息已通过执法数据库共享，以标记希望过境的人。
政策制定者和监管机构需要证据来妥善管理人工智能，更不用说其在心理健康产品中的应用了。
我们调查了 132项研究，这些研究测试了在线心理健康倡议中的自动化技术，例如聊天机器人。在85%的研究中，研究人员没有在研究设计或结果报告中提及这些技术可能被用于负面用途的方式。尽管其中一些技术引发了严重的危害风险。例如，53项研究使用了公共社交媒体数据——在许多情况下未经同意——用于预测目的，例如试图确定一个人的心理健康诊断。我们检查的所有研究都没有探讨如果这些数据公开，人们可能遭受的潜在歧视。
极少有研究纳入使用过心理健康服务的人的意见。只有3%的研究人员似乎以任何实质性方式纳入了使用过心理健康服务的人在设计、评估或实施方面的意见。换句话说，推动该领域的研究严重缺乏将承担这些技术后果的人的参与。
心理健康人工智能开发者必须探索使用不同心理健康技术的长期和潜在不利影响，无论是数据的使用方式，还是技术未能满足用户需求时会发生什么。学术期刊的编辑应要求这样做才能发表，机构审查委员会成员、资助者等也应如此。这些要求应伴随促进心理健康研究中生活经验的标准的紧急采用。
在政策方面，美国大多数州都对典型的心理健康信息给予特殊保护，但新兴形式的心理健康数据似乎仅部分受到保护。诸如《健康保险流通与责任法案》（HIPAA）之类的法规不适用于直接面向消费者的医疗保健产品，包括人工智能心理健康产品中使用的技术。美国食品药品监督管理局（FDA）和联邦贸易委员会（FTC）可能在评估这些直接面向消费者的技术及其声明方面发挥作用。然而，FDA的范围似乎不适用于健康数据收集者，例如健康应用程序、网站和社交网络，因此排除了大多数“间接”健康数据。联邦贸易委员会也不涵盖非营利组织收集的数据，这是危机文本热线案例中提出的一个主要问题。
显然，生成关于人类痛苦的数据不仅仅涉及潜在的隐私侵犯；它还对开放和自由的社会构成风险。人们会因为害怕其内心世界的不可预测的数据化而约束自己的言论和行为的可能性，将产生深远的社会后果。想象一下，我们需要寻求专业的“社交媒体分析师”来帮助我们制作内容，使其看起来“心理健康良好”，或者雇主习惯性地筛选潜在员工的社交媒体以查找“心理健康风险”的世界。
每个人的数据，无论他们是否使用过心理健康服务，都可能很快被用来预测未来的痛苦或障碍。人工智能和大数据的实验正在将我们的日常活动带入精细的新形式的“心理健康相关数据”——这可能逃脱当前的监管。苹果目前正与跨国生物技术公司Biogen和加州大学洛杉矶分校合作，探索使用手机传感器数据（如运动和睡眠模式）来推断心理健康和认知衰退。
理论认为，只要分析足够多关于一个人行为的数据点，就会出现不健康或残疾的信号。这些敏感数据为关于个人和群体的歧视性、偏见性和侵入性决策创造了新的机会。被标记为“抑郁”或“认知障碍”——或可能变成这些情况——的数据将如何影响一个人的保险费率？个人是否能够在数据转移到其他实体之前对这些指定提出异议？
数字心理健康领域发展迅速，越来越多的公司看到了使用人们的心理健康数据的价值。世界经济论坛的一份报告估计全球数字健康市场价值1180亿美元，并将心理健康列为增长最快的领域之一。令人眼花缭乱的初创公司正在争先恐后地成为心理健康领域的下一个重大事件，据报道，仅在2020年，“数字行为健康”公司就吸引了18亿美元的风险投资。
私人资本的涌入与资金不足的医疗保健系统形成鲜明对比，在这些系统中，人们难以获得适当的服务。对于许多人来说，面对面支持的更便宜的在线替代方案似乎是他们唯一的选择，但这种选择创造了我们才刚刚开始理解的新漏洞。
如果您需要帮助
如果您或您认识的人正在挣扎或有自杀念头，请寻求帮助。拨打或发送短信至988自杀与危机生命线988，或使用在线 生命线聊天。
这是一篇观点和分析文章，作者或作者表达的观点不一定代表 《大众科学》的观点。