本文发表于《大众科学》的前博客网络，反映作者的观点，不一定反映《大众科学》的观点
著名技术史学家乔治·戴森在Edge网站上发表了一篇发人深省的文章，他不仅从法律或道德层面，而且从基本技术层面批评了政府监控。戴森的担忧很简单；当您试图从大量的想法中识别出危险想法的萌芽时，您很可能在网罗坏想法的同时也网罗了具有创造性的好想法。这可能会导致充斥着误报的情况，您会经常标记——如果您的程序一切顺利，还会试图压制——好想法。这个问题部分出现的原因是，您不需要，实际上也不能，以百分之百的准确率将每个想法标记为“危险”或“安全”；您所需要的只是大致了解。
“信号情报和分析的最终目标不仅是了解正在说的事情和正在做的事情，还要了解正在思考的事情。随着搜索引擎的普及，它们直接追踪个人头脑与表征并日益构成他们思想的文字、图像和想法之间的联系，这一目标似乎最终触手可及。“但是，机器怎么知道我在想什么？”您问道。它不需要知道您在想什么——就像一个人永远无法真正知道另一个人在想什么一样。对您在想什么进行合理的猜测就足够了。”
当您试图大致了解，特别是关于某人复杂的思考过程时，显然有更高的几率犯错并未能通过区分测试。
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事的未来。
虽然每个数据分析师都会遇到将麦子从谷壳中分离出来的问题，但戴森的反对意见的有趣之处在于，它呼吁在实现这种区分方面存在一个非常根本的局限性，即使动用世界上每一台超级计算机的服务也无法克服。当艾伦·图灵证明即使是一个无限强大的算法也无法确定任意代码串是否代表可证明的陈述（由大卫·希尔伯特提出的所谓“判定问题”）时，他启动了现代计算机科学领域。图灵为世界提供了库尔特·哥德尔不完备定理和海森堡不确定性原理的数据对应物；有些代码的真假只能通过实际运行而不是通过任何预先存在的测试来判断。同样，戴森认为，真正区分好想法和坏想法的唯一方法是让它们在现实中发挥作用。现在没有人真正主张应该允许每一个潜在的坏想法都发挥作用，但这一论点确实强调了试图预先筛选好坏想法的根本问题。正如他所说
“由哥廷根的大卫·希尔伯特提出的判定问题，涉及抽象的数学问题，即是否可以存在任何系统的机械程序，在有限的步骤内确定任何给定的符号串是否代表可证明的陈述。
答案是否定的。用现代计算术语（这恰好是图灵以意想不到的天才之笔构建他的论点的方式）来说，无论您拥有多少数字马力，除了让代码运行并找出结果之外，没有系统的方法可以预先确定每个给定代码串将要执行的操作。对于任何复杂到足以包含简单算术的系统，任何允许新事物的防火墙都永远无法阻止一切危险的东西……
这里有一个问题——而且它又一次是判定问题。永远不可能在不尝试的情况下，系统地将真正危险的想法与看起来可疑的好想法区分开来。任何被授予（或假设）绝对权力以保护自己免受危险想法侵害的正式系统，必然也会对原创和创造性的想法进行防御。而且，对于人类个体和人类社会整体而言，那将是我们的损失。这就是安全国家理想的致命缺陷。”
从某种意义上说，这个问题并不新鲜，因为几个世纪以来，政府和私营公司都在试图分离和压制他们认为危险的想法；这是一个可以追溯到中世纪焚书的传统。但与您可以实际阅读和评估的书不同，基于片段、间接联系、谷歌链接和元数据对想法的评估充其量是站不住脚的，而且极不可能准确地成功。这就是那些试图根据谷歌搜索和脸书个人资料来确定想法和行动的机构所面临的根本障碍，而且很可能无论投入多少复杂的计算能力和数据，都无法使他们解决这个普遍问题。
最终，无论是政府机构、公司还是个人，都容易陷入作家叶夫根尼·莫罗佐夫所称的“技术解决方案主义”——即认为关键的人类问题将屈服于最新的技术进步的信念——这种诱惑是势不可挡的。但是，当您处理人们的生活时，您需要比处理家庭垃圾处理时更加警惕技术解决方案主义。不仅有法律和道德上的必要性，而且还有纯粹科学上的必要性来尊重数据，并消除您认为只要投入更多的人力、计算能力和资源就可以完全理解数据的想法。
在文章的结尾，戴森讲述了他与赫伯特·约克的一次对话，赫伯特·约克是一位强大的国防机构人物，他设计了核武器，为总统提供建议，并监督了数十亿美元的国防和科学资金。约克告诫我们，不仅要警惕艾森豪威尔著名的军工联合体，还要警惕在过去五十年中与国防机构结盟的科技联合体。随着大量数据的出现，这种联盟正在将自己磨练成一个可以对我们的生活产生比以往任何时候都更大的影响的实体。与此同时，我们从未如此需要科学和技术工具来帮助我们理解被数据淹没的海洋。正如约克所说，这正是我们需要警惕它的原因。
“约克比我见过的任何人都更了解艾森豪威尔所说的军工联合体的运作方式。“艾森豪威尔的告别演说非常有名，”他在午餐时向我解释说。“每个人都记得它的一半，那就是警惕军工联合体的一半。但他们只记得四分之一。他实际上说的是我们需要一个军工联合体，但正是因为我们需要它，所以要警惕它。现在我已经告诉你一半了。另一半：我们需要一个科技精英。但正是因为我们需要一个科技精英，所以要警惕它。这就是全部，所有四个部分：军工联合体；科技精英；我们需要它，但要警惕；我们需要它，但要警惕。这是一个四位的矩阵。”