本文发表于《大众科学》的前博客网络，反映了作者的观点，不一定反映《大众科学》的观点
每年，私营和公共组织都会投入大量资源用于研究和开发（R&D）。仅美国联邦政府就拨出数十亿美元用于联邦预算中的研发，认为这是“对[国家]未来的重要投资”。(1) 根据 2009 年的《美国复苏与再投资法案》（ARRA），超过 100 亿美元专门用于研发和基础科学活动。但是，这些数十亿美元足够吗？还是太多了？
面对有限的财政资源，研究和开发活动可能很快成为首当其冲的削减对象。选择削减研发资金的部分原因是，在试图量化这些项目的影响时会遇到困难。它们的相对较长的时间跨度（多年或数十年）及其间接影响（例如，请参阅“您可能每天使用的 10 项 NASA 发明”）的结合，在尝试建立一致的方法来量化研发项目的有效性时，会构成挑战。此外，试图比较主题和影响领域观点截然不同的研发项目可能会导致哲学讨论，从而进一步阻碍定量过程。
尽管存在这些挑战，但仍经常使用三个主要的定量指标来评估研发投资的“成功”或影响，包括。
关于支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅，您将有助于确保有关塑造我们当今世界的发现和想法的具有影响力的故事的未来。
1. 投资回报率 (ROI)
2. 专利数量
3. 文献计量学
虽然这些方法中的每一种都可以让人了解研发投资的有效性，但围绕研究和开发项目的系统使得以有用的方式始终如一地应用这些方法变得困难。因此，在投资和由此产生的收益之间建立联系非常具有挑战性。
投资回报率 (ROI)
投资回报率 (ROI) 指标试图将研发活动与利润或其他货币收益联系起来。如果可以有效地识别这种联系，则 ROI 可以提供投资与利润（美元与美元）的衡量标准。但是，衡量研发投资产生的利润并非易事，尤其是在公共部门。许多因素阻碍了“回报”的计算，包括与同期资本项目相比，与研发项目相关的相对较长的时间跨度，以及创新过程的非线性性质。通常，这些创新无法直接与最初的研发投资联系起来，而最初的研发投资可能是在几十年之前（并且来自几个不同的来源）为最终的盈利活动提供资金的。
此外，从实验室到货架的经常复杂的途径使得就确定投资和利润的美元总和的方法达成共识变得困难。这些问题在公共部门中会加剧，在公共部门中，确定投资回报（利润）变得越来越困难——具体而言，应包括哪些回报。一个常见的例子可以在国家的国家实验室中找到，在那里，技术经常被许可给私营实体用于商业化。在这些情况下，对于哪些利润应该“计算在内”可能存在很多争论。回报应该仅限于许可费，还是应该包括私营实体的所有利润？在 1970 年代和 1980 年代初期，国家标准与技术研究院 (NIST) 和 NASA 都放弃了 ROI 计算项目，部分原因是严重的方法论问题和分歧。
尽管存在这些局限性，但许多人仍然试图使用 ROI 来确定其研发项目的“成功”。这些尝试在私人研发的情况下似乎通常更成功，项目的时间跨度更短（几年）。一项较早的（1993 年）研究针对私人（工业）研发投资计算得出，这些项目的年化 ROI 在 20% 到 30% 之间。
专利数量
与原始研发投资相关的专利数量可以用作衡量该投资“成功”的另一个指标。但是，按主题领域划分，授予的专利数量差异很大，这使得难以比较不相关项目的相对有效性，并且难以与因果关系建立任何程度的联系。此外，专利数量通常不区分那些专注于次要系统改进的专利与重大创新飞跃的专利。
文献计量学
广义上讲，文献计量学指的是引用次数，即确定特定研究小组或研究项目发布的出版物总数（例如，科学期刊文章或会议论文）。然后将这些计数与资金来源联系起来，以根据其在该领域中被感知的影响来确定该资金的总体“成功”。使用文献计量学，可以建立一个定量指标，该指标可以说与研发资助的影响有关。但是，与专利计数一样，文献计量学难以纳入这些引用的价值（例如，期刊论文与会议论文相比“价值”高/低多少？2 倍？10 倍？）。换句话说，很难解释作为单个研发资助的结果而发生的研发创新和影响的程度。
选项 4 - 咨询“专家”
为了应对使用这三个指标（ROI、专利和文献计量学）来衡量研发项目投资的“成功”的局限性，一些团体已转向主题专家和同行评审。例如，在 2009 年，美国能源部发布了一份关于其地热技术计划的报告，该报告从他们从行业专家那里收到的反馈中得出结论。通过对其地热研究、开发和示范 (RD&D) 投资组合进行风险分析过程，作者收集了行业专家以及国家实验室研究人员和分包商的反馈，以估计 RD&D 的影响。据推测，进行这项研究是为了评估是否应继续资助该团体以及资助水平。
但是，即使在咨询“专家”时，这份 2009 年报告的作者也遇到了局限性。(2) 具体而言，这些类型的修改后的同行评审过程由于依赖于个人判断，可能会受到“专家”自身专业知识和观点造成的偏见的影响。而且，由于此过程的劳动强度，同行评审可能会变得非常昂贵，这可能会导致咨询较少的人员，以便梳理出系统中存在的这种偏见。
问题多于答案
那么，如何衡量研发投资的“成功”呢？在私营部门，ROI 可能是短期项目的不错选择。但是，最终的结论似乎是，目前的方法还远远不够。每种方法都有局限性，通常可以追溯到如何在项目和部门之间始终如一地应用方法。因此，人们经常会发现问题多于答案。
参考文献
(1) Nemet 等人“美国能源研究与开发：投资下降、需求增加以及扩张的可行性”，在线获取地址：此处
(2) Young 和 Augustine“关于美国地热技术计划 2009 年风险分析的报告”，在线获取地址：此处
图片来源
1. 毒理学研究实验室照片，作者：CAMIOKC，根据此知识共享许可使用。
感谢 MG-H 在我们关于此主题的讨论中提出的周到意见。