我们能改进预测吗?菲利普“超级预测”泰洛克问答

社会心理学家菲利普·泰洛克回答关于他的新书《超级预测:预测的艺术与科学》的问题。

加入我们的科学爱好者社区!

本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定反映《大众科学》的观点


我一直对社会科学持严厉态度,甚至暗示“社会科学”是矛盾修饰法。 然而,我指出,社会科学具有巨大的潜力,特别是当它将“严谨的经验主义与对绝对答案的抵制”相结合时。

菲利普·泰洛克的作品就具备这些品质,并且它提出了一个基本问题:社会事件的可预测性有多高? 他早期的研究评估了专家预测选举、经济崩溃和战争等事件的能力,突出了预测的难度。 例如,请参阅我在一篇关于公众是否应该听从科学专家判断的专栏文章中如何引用他的观点。

泰洛克的新书《超级预测:预测的艺术与科学》 与记者丹·加德纳合著,更加乐观。 这本书已经收到了来自《经济学人》《华尔街日报》、前财政部长罗伯特·鲁宾、心理学家史蒂文·平克、诺贝尔奖得主丹尼尔·卡尼曼等人的好评。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。 通过购买订阅,您正在帮助确保未来能够继续产出关于塑造我们当今世界的发现和想法的有影响力的报道。


几个月前我为这本书写了推荐语。 我写道,泰洛克“表明,某些人可以比偶然性更准确地预测事件——因此,如果我们效仿这些‘超级预测者’的批判性思维,我们其他人也许也可以做到。 自我赋能类书籍再也没有比这更聪明、更复杂的了。”

泰洛克是宾夕法尼亚大学的社会心理学家,最近他回答了我关于他的书和相关主题的问题。

霍根:您因在 2005 年出版的《专家政治判断》一书中展示了预测社会现象有多么困难而闻名。 然而,您的新书对准确预测的可能性更加乐观。 您对您的第一本书有什么要收回的吗?

泰洛克:没有什么特别要收回的。 在我看来,矛盾之处更多的是表面上的而不是实际存在的。 有两个大型地缘政治预测竞赛数据集,一个与《专家政治判断》相关联,总结了 1985 年至 2002 年期间的竞赛,另一个与 GJP(良好判断项目)相关联,也称为 IARPA(情报高级研究计划局)竞赛,该竞赛于 2011 年至 2015 年期间进行。

当然,两者之间有重要的相似之处。 两个竞赛都提出了关于未来可能性的问题,这些问题被充分明确地定义,足以通过预见性测试。 并且它们要求预测者沿着概率尺度做出判断。

但是,两者之间存在很大的差异——这些差异解释了解释中不同的发现和重点。 (是海森堡说的吗:“我们对自然的了解仅限于它暴露于我们的提问方法之下”? 无论如何,这个老生常谈对于预测竞赛来说肯定是正确的。)

所有这些差异的累积效应是,与早期的工作相比,后期的工作中预测者有更多的机会和动力来展现他们的才华。 请考虑以下差异列表

(1)  早期工作中时间最短的问题 (要求人们展望大约一年)比后期工作中除时间最长的问题以外的所有问题都短(绝大多数超级预测者需要展望几个月但不到一年的问题);

(2)  早期工作中的预测者希望匿名,而后期工作中的预测者希望在排行榜上获得认可;

(3)  早期工作中的预测者很少有机会更新他们的信念,而后期工作中的预测者被强烈鼓励尽可能频繁地更新他们的概率估计,只要他们觉得新闻值得这样做。

 换句话说,IARPA 竞赛更具公开竞争性,这迫使人们比平时更加思想开放,更加狡猾(比 EPJ 竞赛更甚)——因为它们提高了思想封闭带来的声誉风险。

我想这就是为什么读过《专家政治判断》和《超级预测》的人认为后一本书更乐观,更多的是关于点燃蜡烛而不是诅咒黑暗。 这可能是一个相当公平的评估。 从内心深处,我认为这两本书是互补的,而不是矛盾的。

霍根: 您发现某些人具有使他们成为“超级预测者”的特质,他们在预测社会事件方面远优于平均水平。 这些特质可以自动化吗? 也就是说,可以编入算法吗?

泰洛克: 我们在书中描述了一个与沃森(Jeopardy 节目中的人工智能世界冠军)的创造者大卫·费鲁奇讨论这个问题的机会。 例如,他同意沃森可以轻松回答诸如“过去五年中哪两位俄罗斯领导人互换了职位?”之类的问题。 但他指出,回答“未来五年内,这两位俄罗斯领导人会互换职位吗?”这个问题就完全是另一回事了。 第二个问题是超级预测者会觉得很容易的问题(我认为),但当今地球上没有任何人工智能系统能够以引人注目的方式解决。 为什么第二个问题比第一个问题难得多? 因为回答第二个问题需要对俄罗斯政治体系、相关人物以及他们可能面临的不断变化的威胁和机遇有一个相当复杂的因果模型。 这不仅仅是“仅仅”扫描庞大的数据库并三角定位到最合理的贝叶斯估计答案的问题。 我在“仅仅”周围加上引号,是因为我绝不想轻视沃森所取得的非凡成就。

 霍根: 您是否相信大数据具有彻底改变社会科学的力量? 社会科学会像物理学一样精确和严谨吗?

泰洛克: 我不确定“彻底改变”社会科学,但大数据显然将使回答许多以前无法回答的问题成为可能。 我们现在拥有关于人际关系(例如 Facebook)、搜索行为(谷歌)、消费者行为(似乎无处不在)的大型数据库。 顺便说一句:公司经常对我们所有人做一些事情,而大学的人体受试者审查委员会会将其归类为不合情理的不道德行为。  要么大学审查委员会过于敏感,要么大数据公司过于麻木不仁。 我认为两者兼而有之。

霍根: 正如马克思对历史的影响所表明的那样,社会理论和预测可能对社会产生巨大影响。 这种反馈因素是否增加了社会预测的难度? 是否有可能构建考虑到这一因素的模型?

泰洛克: 我同意自我实现的预言和自我否定预言确实“增加了社会预测的难度”。 这些影响很难衡量和建模,但并非总是 不可能。 例如,最近的预测竞赛中提出的许多问题都是条件预测,形式为:如果美国政府(或其他实体)执行 X 或 Y,那么结果 Z 的可能性有多大? 当然,只能评估条件的一个分支(决策实体选择的选项)的预测经验准确性。 另一个分支成为反事实历史的一部分(我们永远没有机会观察如果我们走另一条路会发生什么)。

有人可能会说,预测竞赛确实对关于反事实历史的判断的准确性提供了一些间接的启发。 毕竟,您更信任谁对将要发生的事情的判断:是在现实世界中准确的人,还是不准确的人?

一些读者可能想知道,为什么我们应该关心尝试构建间接指标来衡量谁更有可能在他们对反事实世界的判断中是正确的。 然而,事实证明,我们对这些反事实世界中可能发生的事情所做的假设是我们从历史中吸取的所有因果教训的基础。 如果您认为 2003 年伊拉克战争是一个错误,那就意味着您认为,在反事实的世界中,如果美国没有发动入侵,事情会变得更好——萨达姆·侯赛因可能仍然掌权。 请记住:即使您的反事实信念被广泛接受,它仍然是一种反事实信念,而不是事实信念。 

霍根:我进行了十二年的调查显示,大约十分之九的美国人认为战争永远不会被根除。 我担心这种悲观的信念会自我实现。 您能否评论一下这种具体的可能性以及更普遍的自我实现预言问题?

泰洛克: 这个问题对我来说太大了,但我愿意冒险提出一些看法。 “国家”的经典定义是一个组织,它声称在特定领土内垄断武力的使用。 只要世界仍然划分为相互竞争的民族国家,每个民族国家都声称自己是法律,并且只要国际体系是“无政府状态”(没有具有有效执法权的世界政府),就存在战争的可能性。 但我内心的乐观主义者感到鼓舞的是,拥有核武器的国家即使在威胁使用核武器方面也多么谨慎(即使到目前为止,朝鲜的叫嚣似乎也比它的咬人更厉害)。 同样有趣的是,成熟的民主国家之间很少发生战争。

所以我想这是一种相当冗长的方式来说:我不知道,而且我认为地球上没有人知道。

霍根: 您在《超级预测》中描述的研究是由国防部资助的。 您对接受军方资金有顾虑吗? 更广泛地说,您是否担心美国研究人员对军事资金的依赖?

泰洛克: IARPA 没有对我们的出版能力施加任何限制——并且不涉及任何机密信息。 从这些意义上讲,我们拥有与国家科学基金会支持时一样多的自由。 (顺便说一句,IARPA 是美国情报界的一部分——而不是军方的一部分。 更大的问题显然仍然存在)。

我很难想象国家科学基金会决定支持像预测竞赛这样深度跨学科的项目(它跨越了 NSF 的几个部门的界限:判断和决策、社会和个体差异心理学、统计学、经济学、政治学)。

我的观点是,预测竞赛加深了我们对如何生成现实的概率估计的理解——因此,减少了灾难性情报错误的发生可能性,这类错误导致了 2003 年的伊拉克战争(情报界对其评估在伊拉克发现大规模杀伤性武器的积极计划的可能性过于自信——最生动地体现在著名的“十拿九稳”的引言中)。 只要我们的研究减少了未来发生此类错误的可能性,它就能轻松通过我的成本效益测试。

霍根:您相信自由意志吗? 为什么相信或不相信? 您的信仰或不信仰对您的科学有任何影响吗?

泰洛克: 这个问题甚至超出了我的能力范围。 如果自由意志是一种错觉(并且有充分的理由假设这一点),那么它也是一种非常令人信服的错觉——并且在现有的社会秩序中发挥着关键作用(道德责任和问责制的重要基础)。

霍根: 近来,心理学和社会科学遭受了打击,因为许多广为人知的说法被证明是夸大或错误的。 这些领域可以做些什么来恢复声誉?

泰洛克: 预测竞赛是完全透明的:资助机构在竞赛运行期间每天美国东部时间上午 9 点收集所有数据提交。 没有作弊的空间——不能声称您的概率估计实际上比所描述的更准确。 因此,我确实推荐这种探究模型。

更普遍地说,我认为开放科学项目的复制努力是朝着恢复声誉迈出的良好一步。 我还应该指出,我是一篇上个月发表在《行为与脑科学》杂志上的文章的合著者,该文章论证了社会心理学和社会科学中更大的意识形态多样性(一种制衡论)。 但这是一个长期积累的问题,需要很长时间才能清理干净。

霍根: 对于正在努力预测化石燃料消耗对人类福祉的影响的大量研究人员和官员,您有什么建议吗?

泰洛克: 谦逊。

霍根: 您会把自己描述为对人类前景持乐观态度还是悲观态度?

泰洛克: 我想我会使用《超级预测》中使用的术语:谨慎的乐观主义者。

附录:泰洛克将于 10 月 14 日下午 5 点访问我的学校,新泽西州霍博肯市史蒂文斯理工学院,并发表演讲。 演讲免费向公众开放。

© . All rights reserved.