为什么选举民意调查变得不再可靠

选举民意调查越来越容易出现巨大错误

艾米丽·埃尔科宁/彭博社,盖蒂图片社

距离选举日不到一周,民意调查显示,美国总统候选人卡玛拉·哈里斯和唐纳德·特朗普势均力敌——对于任何希望减少悬念的人来说,这都不是一个令人满意的结果。

乔治·华盛顿大学研究技术和选举的戴维·卡普夫说:“风险非常高。” 但是,他说,民意调查只能告诉我们他们在过去一年半中一直在预测的事情:“看起来选情将会很胶着。”

民意调查是美国选举报道和选后审查的重要组成部分。这些政治调查的结果推动了新闻周期和竞选策略,并且它们可以影响潜在捐助者和选民的决定。然而,它们也变得越来越不可靠。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道: 订阅。通过购买订阅,您将有助于确保未来能够继续刊登关于塑造我们当今世界的发现和想法的具有影响力的报道。


乔治城大学美国政府教授、《民意调查的十字路口:重新思考现代调查研究》一书的作者迈克尔·贝利说:“现在,我们正在使用这种非常容易出错的技术,很容易犯下巨大错误。”

对于那些关注过去两次总统选举的人来说,这些错误可能很熟悉,因为民意调查低估了特朗普的支持率。民意调查员希望从他们的错误中吸取教训,但他们的结果在很大程度上仍然是一种判断。原因如下。

人们不再回应民意调查

卡普夫说,几十年来,民意调查员一直在应对“持续不断的危机”,即回复率下降。民意调查的质量取决于其样本:公众中回应民意调查电话的人群越广泛、越有代表性,数据就越好。贝利解释说,20世纪后半叶固定电话的普及是民意调查员独有的礼物,他们可以依靠大约60%的随机拨打电话号码的回复率来听取具有代表性的人群的声音。

如今,技术变革——包括来电显示、短信的兴起和垃圾信息的泛滥——导致很少有人接听电话或回复未经请求的短信。贝利指出,即使是备受尊敬的《纽约时报》/锡耶纳学院民意调查,回复率也只有大约1%。在许多方面,回应民意调查的人都是特立独行的人,这种自我选择可能会以未知但深刻的方式严重偏向结果。

贝利说:“游戏结束了。一旦你的回复率达到1%,你就没有随机样本了。”

为了将这些有限的数据转化为可用的见解,卡普夫说,民意调查员越来越依赖复杂的建模。这些技术“加权”一些参与者的回复,以使其有偏差的样本在关键变量(如年龄、种族、性别和政治派别)上与一般投票人群相匹配。从理论上讲,这使得民意调查员能够从少数有偏差的回复中推断出有关一般投票人群的信息。

贝利说,在随机抽样的黄金时代,民意调查“是基于一种科学方法,具有明确的程序,可以产生明确的概率结果”。然而,“现在你只需要对原始民意调查数据投入一个又一个建模决策,并希望你的假设成立。”

这些模型中的假设很容易出错

民意调查员通常会就如何扩展和压缩他们的数据以使其符合选民的构成做出有辩护理由的、善意的决定。但这些仍然是有根据的猜测,合理的头脑可能会有不同的看法。

卡普夫说:“即使它们都是合理的假设,但它们是不同的假设。哪些假设是正确的,我们不知道。”

民意调查员的准确性取决于11月5日选民的实际构成。这从根本上是不可知的,也是民意调查员在过去两次选举中都犯错的地方。2016年,88%的全国民意调查高估了希拉里·克林顿的支持率。分析发现,他们错过了受过大学教育的白人选民中对特朗普的大量支持,因为他们基本上没有根据教育程度对数据进行加权。

因此,在2020年的民意调查中,教育程度被加权。然而,他们遇到了类似的问题,这次是忽略了人口统计因素以外的其他因素。民意调查正确地预测了乔·拜登将获胜,但其中93%的民意调查高估了他的领先优势。“感觉不像是一场灾难,但仅从准确性的角度来看……,这有点令人不寒而栗,”贝利说。“你看到完全相同的问题再次发生。”

2020年的选举表明,特朗普的支持中有一些方面无法完全用民意调查员一直依赖的人口统计变量来解释。因此,今年许多人正在使用一种更直接的技术来弥补:根据受访者表示上次选举投票给了谁来加权他们的答案,这种方法称为回顾投票加权。这使得2024年的民意调查符合2020年的投票率——并且实际上,夸大了特朗普的支持率。

贝利说,民意调查员这次“非常依赖”回顾投票加权。但是,这种技术有一些关键的局限性。首先,尚不清楚2024年的选民是否会与2020年相似,特别是考虑到最高法院推翻罗诉韦德案后,2022年中期选举中女性选民的高投票率。“对于女性选民来说,这是一个存在的、根本价值观的问题,”民主党民意调查公司GQR的民意调查员安娜·格林伯格在接受Ms. Magazine采访时说。一些民意调查员押注今年的选举将更像那些中期选举,并相应地加权他们的数据。

选民群体也可能在四年内发生很大变化:选民去世,一批新选民年满18岁并获得投票资格,许多人搬到不同的州。此外,当被问及四年前投票给了谁时,人们可能不会给出可靠的回答。

但贝利最担心的是该技术更根本的问题。民意调查员不仅必须在他们的样本中获得正确比例的特朗普选民,他们还需要获得“正确的”特朗普选民。如果他们的样本没有选取具有代表性的前特朗普选民样本,回顾投票加权也无法解决这个问题。“想象一下,你在2020年投票给了唐纳德·特朗普,但你现在厌倦了他。你现在可能不会回应民意调查,”贝利说。同样的动态也可能在民主党方面发挥作用。所有这些都可能导致民意调查结果出现偏差,即使使用回顾投票加权也是如此。

《纽约时报》报道,回顾投票加权会使2004年以来每次选举的民意调查都不那么准确。但是,许多民意调查员现在选择使用该技术,以避免重蹈2016年和2020年的覆辙。

贝利说:“一而再,再而三,我想,不要再被愚弄第三次了。”

选举模拟也无法告诉你太多

如果个人民意调查不可靠,那么民意调查聚合器呢?这些网站整合了数十个甚至数百个调查的结果,许多网站都运行内特·西尔弗推广的一种选举模拟风格,内特·西尔弗创立了FiveThirtyEight(现在的538)。这些聚合器获取民意调查数据,并对选举进行约10,000次模拟,以预测其可能的结果。

对于普通人来说,这些模拟并没有多大帮助。2016年,FiveThirtyEight报告称,克林顿在71.4%的模拟中获胜。旁观者应该如何看待我们生活在特朗普获胜的28.6%的现实中这一事实?美国民意调查研究协会报告对这些试图预测选举结果(而不仅仅是呈现候选人在特定时刻的支持率快照)的做法提出了严厉批评,该报告是在2016年民意调查失败之后发布的。

报告的合著者、内布拉斯加大学林肯分校的克里斯汀·奥尔森在新闻稿中说:“媒体和政治讨论中对这些民意调查聚合器的存在感非常强烈……。他们在模型中使用具有未知误差的输入,并且他们真的不透明。” 报告警告说,预测模型“试图预测未来事件。正如2016年选举所证明的那样,这可能是一项令人担忧的工作。”

卡普夫告诫人们不要通过刷新538或其他民意调查聚合器来应对选举焦虑。“这种类型的建模练习告诉我们的信息非常少,”他说。

此外,正如贝利指出的那样,他们可能正在聚合不可靠的来源。“我今天刚刚给我的班级展示:如果你看一下538……并且你开始点击其中一些[民意调查机构],就像,‘这些人是谁?’ 并且我们不知道他们在某些情况下是谁,这让我感到震惊,”他说。有些是党派性的,有些网站上没有列出方法,这“总体而言,与科学理想相去甚远”。

现在的选举真的非常接近

另一个问题是,现在的选举非常接近。“它们非常接近,以至于如果[结果]向特朗普的方向偏移3%,那么这将看起来像是特朗普的压倒性胜利,”卡普夫说,哈里斯也是如此。这在统计上是在民意调查的误差范围之内,但可能被公众视为一个重大失误。

正如FiveThirtyEight在其预测页面上指出的那样,“民意调查中的胶着选情并不一定意味着结果会很接近。” 虽然目前每位候选人的胜算似乎势均力敌,但获胜者仍然可能以选举人团的巨大优势赢得总统职位。

卡普夫说:“现在公众的困难在于,我们正在关注这些民意调查,想知道未来会怎样,”而它们根本无法提供这个答案。

对于民意调查来说,正处于方法论的十字路口,这是一个高风险的时期。政治暴力的威胁笼罩着所有这些讨论。卡普夫说,如果民意调查再次低估特朗普的支持率,而他输了,即使最终结果在误差范围之内,它们也可能被用来支持选举舞弊的说法。虽然这个问题不是民意调查员要解决的,但它是他们面临的现实的一部分,并且可能会影响他们是否使用回顾投票加权的决定。

在这次选举中,比以往任何时候都更甚,关注民意调查并没有给任何人带来安慰。卡普夫建议在接下来的一周里多喝水,睡好觉,不要查看社交媒体。选举日会发生什么,在它发生之前是无法知道的。

即使是民意调查员自己也同意。正如格林伯格在Ms. Magazine中建议的那样,“尽量不要看公共民意调查……。它一直很稳定,仅此而已。自9月以来,它真的没有发生太大变化。一切都很接近。”

艾莉森·帕肖尔大众科学的副新闻编辑,经常报道生物学、健康、技术和物理学。她编辑该杂志的“投稿人”专栏和每周在线科学测验。作为一名多媒体记者,帕肖尔为大众科学的播客Science Quickly撰稿。她的作品包括一个关于音乐创作人工智能的三部分迷你剧。她的作品也曾在Quanta Magazine和Inverse上发表。帕肖尔毕业于纽约大学亚瑟·L·卡特新闻学院,获得科学、健康和环境报道硕士学位。她拥有乔治城大学心理学学士学位。在X(前身为Twitter)上关注帕肖尔 @parshallison

更多作者:艾莉森·帕肖尔
© . All rights reserved.