人群预测的最佳选择

研究改进了预测市场

每一个成功的前瞻性决策背后都有一个好的预测。当我们换工作或买房子时,我们隐含地预测我们的选择会比其他选择更好。提高预见能力,特别是关于政治事件的预见能力,对政府来说也是显而易见的。这就是为什么美国情报机构的研究部门IARPA资助了一项大型人群预测科学研究。在良好判断项目中,我们有机会在四年内进行数十项实验,重点关注一个问题:我们如何才能最好地提取人群的智慧来进行政治预测?

预测市场已经为人群智慧预测设定了黄金标准。一个典型的预测市场问题可能是:“希拉里·克林顿会赢得2016年总统大选吗?”您可以买卖有关这个问题的股票,每股股票如果克林顿获胜则价值1美元,如果她失败则价值0美元。按照设计,价格对应于克林顿获胜的概率,例如0.60美元意味着她有60%的机会获胜。如果您认为她的机会更高或更低,您可以在该问题上买卖股票,并从您的见解中获得潜在利润。

如果您是选举爱好者,您很难在不提及预测市场的情况下谈论克林顿和特朗普的机会。这不是巧合。预测市场在许多精彩的竞赛中都取得了挑选赢家的良好记录,从总统候选人喷墨打印机。社会科学家正在利用市场来预测哪些著名的心理学发现可以被重复。理论上,无形的手会发挥其魔力,有效地汇总参与者可获得的所有相关信息。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关当今塑造我们世界的发现和想法的影响力故事的未来。


因此,如果您对未来有重要问题,并且有数百人愿意提供他们的见解,那么将他们放在预测市场中似乎是稳赚不赔的。然而,我们并没有想当然地认为这是理所当然的,而是进行了第一个大型实验,将预测市场与竞争方法进行了比较。令我们惊讶的是,我们已经确定了一种产生比市场更准确预测的方法。对于像美国情报界这样预算超过500亿美元的组织来说,改进的预测可能意味着正确决策和伊拉克战争式惨败之间的区别。

这种获胜方法的灵感来自于为天气预报员开发的概念,他们从事每日概率预测业务。我们称之为预测民意调查。民意调查预测员不是下注,而是以概率的形式表达他们的信念。例如,您可能会说克林顿有70%的机会赢得选举。在了解克林顿是否获胜后,您将收到一个准确度评分,反映您与正确答案的接近程度。例如,如果克林顿获胜,您的得分将高于那些认为她有50/50机会的人。在你和其他数百名预测员表达他们的信念后,统计算法开始工作,汇总预测以得出每个问题的单一群体智慧估计。

天气预报员和其他专家已经使用基于民意调查的方法几十年了,但没有人通过实验测试过民意调查在大量非专家人群中的功效。这就是我们所做的。在一个为期两年的锦标赛中,我们随机将参与者分配到预测市场或民意调查中。这使我们能够追踪准确性差异的原因是方法,而不是个别预测员。我们收集了大约50万个关于近300个问题的预测,涵盖了广泛的地缘政治主题,从德国议会选举的获胜者到西非埃博拉疫情的消灭。

预测民意调查的表现优于市场,减少了10-20%的误差。民意调查表现强劲背后的三个因素非常突出。我相信理解这些将有助于我们大多数人更清楚地思考预测。

首先,个人技能很重要。我们发现,有些预测员在预测未来方面就是比其他人更好。准确性是技能问题,而不仅仅是运气。一旦我们掌握了预测员在约20个问题上的记录,我们就可以利用这些信息来放大技能较好的人的声音,从而提高总体估计的质量。市场有其自身的学习技能机制:更好的预测员理想情况下会以牺牲那些不太准确的同行为代价积累收益和影响力。

其次,信念更新是技能的标志。准确的民意调查预测员以特定模式更新他们的信念:频繁地,以小幅度递增。他们将预测任务视为多次小惊喜,而不是一连串的大冲击。我们使用更新频率来告知哪些个人在特定问题上表现最佳。按照设计,市场不会捕获此类行为措施,至少在行为转化为市场收益之前不会。

最后,我们发现,认为自己是某个主题专家的民意调查预测员并不一定比那些对自己的专业知识给出适度评价的同行更准确。事实证明,评估一个人相对于同行的知识和专业知识对人类来说是一项极其困难的任务。然而,在市场上,这正是交易员试图做的:当他们拥有相对于其他参与者的独特优势时,他们就会下注。在后续研究中,我发现预测市场交易员经常无法猜测何时下小额或大额市场赌注,这可能会给最终定价信号增加噪音。

那么,这种经验告诉我们如何做出更好的预测呢?提高技能的最好方法可能是跟踪您的准确性。当您挖掘出新的证据时,您也应该保持开放的心态来改变您的想法,这些证据通常以小剂量出现。并且不要认为您的初始知识会自动使您命中靶心。

结果可能会让那些坚信市场作为信息汇总器的卓越效率的人感到失望。但是,正如托马斯·赫胥黎所说,这就是科学的悲剧:一个美丽的假设被一个丑陋的事实所扼杀。在政治和经济风险似乎无处不在的时代,更好的预测值得质疑一些长期以来的假设。

这是第一个比较预测民意调查和市场的实验。但这不太可能是最后一次。例如,我们不知道数千名(而不是数百名)预测员之间强大的真钱激励是否会提高市场表现,并帮助市场捍卫其黄金标准地位。要了解更多关于成为预测员的体验,请尝试预测民意调查,以及使用真钱模拟货币的预测市场。这些是尝试运气并培养技能的好方法。

Are you a scientist who specializes in neuroscience, cognitive science, or psychology? And have you read a recent peer-reviewed paper that you would like to write about? Please send suggestions to Mind Matters editor Gareth Cook. Gareth, a Pulitzer prize-winning journalist, is the series editor of Best American Infographics and can be reached at garethideas AT gmail.com or Twitter 

@garethideas.

Pavel Atanasov is a decision psychologist who studies prediction. He is co-founder of the company Pytho and a co-principal investigator of the Human Forest project, both with Regina Joseph. Prior to that, he was postdoctoral scholar at the Good Judgment Project. Follow him on Twitter at @paveldatanasov.

More by Pavel Atanasov
© . All rights reserved.