信息技术领域的一个既定事实是，数据量只会随着时间的推移而增长。但是，如果学者和计算机科学家无法访问能够处理如此大负载的计算机，他们如何理解海量信息——无论是来自遥远卫星的天文计算还是互联网流量研究？
本周，雅虎公司提供了其庞大的计算资源，以协助需要大规模并行计算环境的学术研究。并行计算涉及分解极其庞大的数据集，并将它们分发到不同的互连计算机进行同步处理和分析。雅虎通过一个由 4,000 个计算机处理器组成的集群提供此服务，该集群被称为 M45，运行名为 Hadoop 的软件，这是一个开源分布式文件系统和并行执行环境，允许其用户处理海量数据。
卡内基梅隆大学 (C.M.U.) 位于匹兹堡的计算机科学学院院长兰德尔·布莱恩特表示，许多不同学科的计算机系统收集了大量数据，人们需要从中提取有意义的信息。
支持科学新闻报道
如果您喜欢这篇文章，请考虑通过以下方式支持我们屡获殊荣的新闻报道： 订阅。通过购买订阅，您正在帮助确保未来能够继续报道关于塑造我们当今世界的发现和思想的具有影响力的故事。
本月，卡内基梅隆大学成为第一家注册使用雅虎 M45 超级计算机集群的学术机构。最初，该校约 20 名研究人员将使用 M45 来研究如何在广泛分布的系统上改进信息检索、大规模图和计算机图形、自然语言处理和机器翻译。雅虎还计划向其他大学和机构的研究人员开放 M45 的使用。
大学校园里有很多超级计算机——其中许多位于匹兹堡超级计算中心，该中心由卡内基梅隆大学、匹兹堡大学和西屋电气公司共同拥有——它们可以以惊人的速度进行数值计算。但布莱恩特表示，这些系统不一定擅长提取模式或分析数据。然而，能够做到这一点的分布式系统（如 M45）却供不应求。“我们这里的数据分析设施只有雅虎所讨论规模的 5%，”他说，并补充说，卡内基梅隆大学研究自然语言翻译（计算机自动将一种口语翻译成另一种口语）的教职员工“迫切需要类似的东西。”
M45 拥有约 3 太字节（万亿字节）的内存、1.5 拍字节（千万亿字节）的磁盘空间，以及超过每秒 27 万亿次计算（27 万亿次浮点运算）的峰值性能，使其跻身全球最快的 50 台超级计算机之列。除了利用 M45 处理和分析数据集外，计算机科学家还将利用其可观的资源来改进集群本身。分布式计算的许多领域都可以改进：其中包括在同一网络上调度不同工作负载的能力、监控集群性能、在集群中的节点发生故障时快速恢复，以及平衡整个集群的高输入/输出 (I/O) 需求。
雅虎研究全球研究运营副总裁罗恩·布拉奇曼表示，向学术机构开放 M45 的项目意味着研究人员将能够在“互联网规模”上开展项目。“我们的感觉是，学术界没有像雅虎和行业内其他公司那样能够复制这种规模的环境。这种计算环境可能会从根本上改变您能够试验的应用类型。”
虽然 Hadoop 开源软件是由位于马里兰州森林山的 Apache 软件基金会（一家专门编写和管理开源程序的非营利性公司）在两年前创建的，但雅虎研究院一直是 Hadoop 新代码的主要贡献者。通常，像 Hadoop 这样的开源软件是由程序员或程序员团队（如 Apache）创建的，然后在互联网上发布，供任何人使用和/或改进。
雅虎系统、工具和服务工程副总裁杰伊·基斯特勒表示，Hadoop 是雅虎内部使用的网格计算基础设施的核心。“有了正确的 инфраструктура，您可以在作业中并行应用数千个处理器，”他说。
布莱恩特指出，Hadoop 是 谷歌 创建的 MapReduce 软件的开源版本，旨在帮助其开发人员编写程序以处理和生成大型数据集，“MapReduce 是这些数据分析任务的正确编程框架。” MapReduce 和 Hadoop 会自动处理在计算机集群中分区和处理数据的细节。
卡内基梅隆大学将帮助雅虎解决系统中的任何缺陷，预计还需要几个月的时间。“很难说 M45 何时会向大学开放，”布拉奇曼说。“我们希望确保它运行良好，并以安全的方式支持将要使用该系统的不同组织。”