希拉里·克林顿即将以压倒性优势战胜唐纳德·特朗普。但是等等。特朗普正在迎头赶上，可能入主白宫。不，克林顿明显领先，并且正在扩大优势。几乎每天都会有新的民意调查结果出炉，结果各不相同，让选民们不知道该相信什么。
最近选举的结果更有理由让人怀疑。2013年，加拿大自由党在不列颠哥伦比亚省的省选中获胜，出乎意料。次年，民意调查高估了民主党在美国国会选举中的支持率。今年，一些民意调查机构低估了英国人在英国脱欧公投中对脱离欧盟的支持。这些失误导致一些政治评论员表示，民意调查正走向坟墓。
“鉴于民意调查今年和去年的糟糕表现，越来越难找到愿意为任何民意调查付费的人。他们在英国已经严重失信，”牛津大学政治社会学家斯蒂芬·费舍尔说。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保未来能够继续报道有关当今世界具有影响力的发现和想法的故事。
随着美国总统大选临近，民意调查机构正在争先恐后地改进他们的方法，以避免再次犯下令人尴尬的错误。他们的工作变得越来越难。直到大约十年前，民意调查机构还能够通过简单地给人们家里的座机打电话来了解公众舆论。但是，发达国家的大部分人口已经放弃座机，转而使用手机。这使得民意调查机构更难联系到他们，因为人们通常不会接听来自陌生号码的电话。
来源：NATURE，2016年10月19日，doi:10.1038/538304a；来源：疾病控制与预防中心；皮尤研究中心调查，2000-15年
因此，民意调查机构正在反击。他们正在微调联系手机用户的努力，使用统计工具来纠正偏差，并转向在线调查。越来越多的在线民意调查促使民意调查聚合网站的形成，例如 FiveThirtyEight、RealClearPolitics 和赫芬顿邮报，它们结合并平均结果，以制定更细致的预测。
“民意调查正在经历一系列转型。现在做起来更困难了，”新泽西州新不伦瑞克市罗格斯大学政治科学家克利夫·祖金说。“我们自 20 世纪 60 年代以来使用的范式已经崩溃，我们正在发展一个新的范式来取代它——但我们还没有达到目标。”
时代变迁
准确的民意调查的要素相当简单，但它们可能很难找到，而且每个人都使用不同的方法将它们组合在一起。首先招募一大群人——最好超过 1,000 人。样本应在女性和男性之间平均分配。并且它应该反映人口在种族、教育、收入和地理分布方面的构成，以代表这些群体不同的观点和投票行为。一旦数据到手，民意调查机构就会分析样本中的差距，并对结果进行加权，以弥补代表性不足的群体。
“民意调查是一门艺术，但在很大程度上也是一项科学事业，”纽约市 Abt SRBI 民意调查公司总裁兼首席执行官、美国民意研究协会前主席迈克尔·林克说。
这也是一个在幕后进行的过程。民意调查由公司和学术团体混合进行，但通常由新闻机构和政治团体委托进行。因此，民意调查机构很少分享其技术的细节。“有很多人靠这个为生，他们的声誉也建立在这个基础上，”南加州大学经济与社会研究中心（位于洛杉矶）的调查主任吉尔·达林说。
在发达国家，收集民意调查数据的部分曾经相对容易。民意调查机构只是给人们家里的座机打电话——起初是手工拨打，后来在美国使用自动拨号器。但座机正迅速走向电报的末路。2008 年，美国每十户家庭中就有超过八户拥有座机；到 2015 年，这个数字已降至五户，并且还在继续下降。在英国，更多的人拥有座机，但这个比例正在下降。截至今年，其中 53% 的人声称他们从不或很少使用座机。
手机革命严重打击了美国的民意调查机构，因为联邦法规要求手动拨打手机。而且，当陌生号码弹出时，人们通常不会接听手机来电。1997 年，民意调查机构可以获得 36% 的回复率，但现在已降至仅 10% 或更低。因此，民意调查机构正在努力接触更多的人，而且成本正在上升：每次手机采访的成本大约是座机采访的两倍。密歇根大学安娜堡分校调查方法项目负责人弗雷德里克·康拉德说，还存在“无回复偏差”，因为回复民意调查机构电话的人有时并不能反映具有代表性的样本。
华盛顿特区皮尤研究中心调查研究主任考特尼·肯尼迪说，尽管打电话给人们的费用和难度很高，但这种方法仍然产生最准确的结果。美国民意调查机构现在超过一半的样本都拨打手机，而且随着越来越多的人放弃座机，这个比例可能会上升。
民意调查机构还在努力解决另一个主要问题——预测谁会投票。今年在美国，这可能异常困难，因为许多选民对主要候选人并不感兴趣，他们的支持率处于历史低位。
根据经济合作与发展组织的统计，美国全国选举的投票率通常为 40-55%，低于大多数其他发达国家。相比之下，在英国，通常有 60-70% 的合格人口投票。更富有、年龄更大、受过更好教育的人以及上次选举中投票的人更有可能投票，但这因每次选举而异。
民意调查机构通常根据他们自己专有的因素组合来估计投票率，例如受访者的投票历史、他们是否在政党注册、他们对政治的参与度、他们是否说他们计划投票，以及人口统计和社会经济因素。“‘可能投票的选民’建模是出了名的民意调查的秘制成分，”肯尼迪说。
这也是准确民意调查中最困难的部分之一。在 2014 年美国中期选举中，大多数民意调查机构未能预测民主党的投票情况。投票率仅为 36%——过去 70 年来的最低记录——这不成比例地压低了民主党候选人的选票。
在2015 年英国大选中，根据英国民意调查委员会和市场研究协会 3 月份发布的一项调查，包括 ICM Unlimited 和 YouGov 在内的大多数主要民意调查机构都低估了年龄较大的保守党选民的投票率。调查还发现，民意调查机构的样本存在系统性偏差。他们往往有太多的工党支持者，而保守党支持者则偏少。他们已将加权和调整程序应用于原始数据，但这并未减轻偏差问题。报告中确定的另一个错误来源是“羊群效应”——当民意调查机构有意识或无意识地调整其民意调查时，使其结果看起来与之前发布的结果相似，导致民意调查趋于一致。
对左倾政党的偏见并非英国独有。调查分析了来自 45 个国家/地区的 30,000 多个民意调查，发现也存在类似的但较小的偏差。该报告没有解释原因，但美国和英国的一些民意调查机构将这种趋势归因于对谁会出来投票的预测不准确。
就英国而言，专家组建议民意调查机构努力获得更具代表性的样本，并研究更好的加权方法。
民意调查机构也在尝试通过改变他们对可能投票的选民进行建模的方式来提高准确性。过去，他们以二元方式对待他们的样本：确定有多少人会在选举日出来投票，有多少人会待在家里。现在，他们倾向于为某人是否会投票分配一个概率。
更高的透明度可能会有所帮助。参与调查的费舍尔说，英国的民意调查机构与英国民意调查委员会分享了他们的方法，这有助于最近的调查，并引发了关于提高准确性的方法的富有成果的辩论。
信任数据
即使民意调查机构设法收集了具有代表性的样本，他们也并非总是可以信任人们给出的答复。美国最明显的例子之一发生在 1982 年加利福尼亚州州长选举中。洛杉矶市长汤姆·布拉德利是一位非裔美国人，在民意调查中一直领先，但在选举中以微弱优势落败。事后，民意调查机构认为，这种差异的出现是因为一些选民可能不想承认他们不会支持一位非裔美国人候选人。这现在被称为“布拉德利效应”。
这方面的一个变种是“害羞的保守党效应”，以英国倾向于保守党的选民命名，他们向民意调查机构隐瞒自己的观点或谎报自己的意图。这让一些专家想知道，在即将到来的美国大选中，是否可能会出现害羞的特朗普效应——其中一部分选民对承认自己支持特朗普或反对克林顿感到尴尬或不情愿。但大多数主要民意调查机构怀疑这会成为一个主要因素，因为共和党初选前的民意调查准确地衡量了对特朗普的支持，并且他在在线民意调查和使用现场访谈的民意调查中的表现也相似。
先进的技术可能使民意调查机构更好地了解选民的真实感受。例如，在线民意调查允许人们在方便的时候回复，并在不担心现场采访者评判的情况下表达他们的意图。它们还可以轻松地在短时间内以较低的成本收集数千份回复：根据华盛顿特区全球市场研究和民意调查公司益普索公共事务部副总裁克里斯·杰克逊的说法，一次 12 分钟的调查大约花费 30,000 美元，而类似的电话调查则超过 70,000 美元。
但在线民意调查也面临挑战。它们通常通过在热门网站上投放广告来招募，因此人们可以选择是否参与，这意味着它们的样本中可能存在内在偏差。民意调查机构并不确切知道民意调查中缺少哪些人，并且更难估计最终民意调查数据的可靠性。
一些民意调查机构已开始尝试通过短信进行的民意调查。与在线民意调查一样，人们可以选择在任何时候回复，并避免与人交谈。纽约市新学院社会研究学院的心理学家迈克尔·肖伯和他的同事测试了现场采访和短信采访之间的差异。“短信的缺乏时间和社交压力使人们能够透露更多信息，更加诚实，”他说。
另一种方法是召集一批人进行重复调查。最突出的是南加州大学多恩西夫学院/洛杉矶时报总统选举跟踪民意调查，该民意调查于 7 月启动。这些民意调查机构根据美国邮政服务的信息随机选择人员，并通过邮件联系他们，招募 3,000 人每周参加他们的在线调查。与其他民意调查不同，他们不需要不断招募新的受访者，而且他们的回复率至少为 15%——高于电话民意调查。领导这项调查的达林说，民意调查机构有足够的数据非常了解他们样本的人口统计数据，并且可以对他们的趋势充满信心。
但是，如果他们的样本最终被证明存在偏差，那么在样本持续期间的所有民意调查都将存在偏差。今年的民意调查可能就是这种情况，根据聚合网站 FiveThirtyEight 的说法，该民意调查略微倾向于特朗普。
为了降低偏差风险，研究人员正在尝试一种新型民意调查。纽约市哥伦比亚大学的统计学家和政治科学家安德鲁·盖尔曼和他的同事收集了非常庞大的人群，并将他们划分为数万个人口统计类别。研究人员在 2012 年美国总统大选的民意调查数据中测试了这种极端分类方法，表明通过使用高度调整的权重来纠正不具代表性的样本3，它可以准确预测州级结果。然而，这种复杂的方法比通常收集的方法花费更多时间，并且需要更详细的数据。
然而，这可能是未来的一瞥。YouGov 欧洲、中东和非洲政治和社会研究负责人乔·特威曼表示，“大数据”将带来更准确的结果。“这将是将受访者的投票数据与互联网使用情况、其他调查数据和人口统计信息联系起来，从而创建该人的更丰富的画面，这将允许更准确地细化预测，”他说。民意调查机构将使用这些信息来评估谁可能投票并分析调查结果——例如，确定哪些问题最受不同选民关注。
互联网民意调查的低成本引发了各种质量的民意调查数量激增，这使得记者、政策制定者和其他人难以区分良莠。民意调查聚合器尝试根据过去的可靠性对民意调查进行加权，但这并不能保证未来的成功，特别是如果低质量和短期的民意调查机构被纳入其中。
与关于民意调查消亡的大胆声明相反，从业人员表示，民意调查仅仅是在经历转型。但民意调查机构确实认识到，一些障碍是不可逾越的。随着选举季的延长，人们找到更多理由来调查公众舆论，民意调查的数量将继续增加。盖尔曼说，民意调查机构认识到他们只能向人们索取这么多。“公众信任是一种不可再生资源。”
本文经许可转载，并于2016 年 10 月 19 日首次发布。