文件交换驶入快车道

一种新的文件比较方法有望加速音乐和电影的下载

加入我们的科学爱好者社区!

一种新的文件交换方法可以将下载速度提高到比流行的 BitTorrent 服务快三倍。卡内基梅隆大学、普渡大学和英特尔研究院的计算机科学家在上个月概述和演示了这种方法,它将允许寻求特定标题的文件交换者从相似但不一定相同的文件中下载部分内容。它有点像一位进取的机械师,他使用丰田的备件来修理旧福特。这个想法已经引起了商业内容分发公司的兴趣,以及在线点对点社区的非正式讨论。

CacheLogic 的首席技术官安德鲁·帕克说:“这非常有道理”,该公司合法地在线分发电影和游戏文件。他补充说,该公司一直在独立研究一个“非常相似”的概念。

随着高清在线视频即将到来,加速下载和缓解网络流量的提议越来越受欢迎。充斥着视频、游戏和音乐的文件交换网络可以为更广泛的网络提供一个真实的实验室,从中吸取教训。


关于支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。 通过购买订阅,您正在帮助确保关于塑造我们今天世界的发现和想法的有影响力的故事的未来。


在追求速度的过程中,大多数现代点对点系统将文件(例如,《无间道》的副本)分解成数千个块,并允许单独交换这些单独的组件。例如,这允许只下载了半部电影的人充当该部分内容的辅助来源。

然而,许多文件仍然可能需要数天才能下载,因为原始来源离线,或者来源的上行带宽阻塞。

为了解决这个问题,卡内基梅隆大学的大卫·安德森和他的同事们推断,今天在线的许多文件实际上是近乎重复的文件,只有细微的差异——标签不同的相同歌曲、不同语言的电影或同一软件程序的不同版本等等。

为了测试这一点,他们下载了他们能找到的 26 首歌曲和 26 部电影的所有版本,总共超过 6,000 个媒体文件。他们发现,同一首歌的不同版本最终共享了大约 99% 的相同内容,而同一部电影的不同版本平均重叠了 15%。

为了使这些共享内容可以访问,该团队创建了一个“手印”系统,这是一种基于文件确切内容的独特数字标识符。与通常用于识别或验证文档的更传统的数字“指纹”不同,该系统还允许快速比较有限数量的单个块,如果发现相同,则可以交换这些块。

每个手印都可以被认为是一串数字,不同的部分对应于不同的数据块。因此,如果《无间道》的手印是“12 14 16 18 24”,而它的西班牙语翻译《Los Infiltrados》产生了“13 15 17 18 24”,那么第二个文件就可以用作某些内容的来源。例如,没有对话的场景在两个语言版本中可能是相同的。

该团队的名为“相似性增强传输 (SET)”的原型测试发现,当从相似和相同的文件中通过 DSL 速度连接提取内容时,它比 BitTorrent 快三倍,电影文件快约 30%。然而,如果已经有很多相同的副本可用,那么优势就会消失,使其可能对“那里一半的内容”有用,安德森说。

这个概念可能很难添加到现有的文件交换网络中,因为它的文件分割方法可能会使启用 SET 的更新与今天早期版本的交换软件不兼容。尽管如此,这个想法正在点对点论坛和邮件列表中被广泛讨论。帕克说,SET 或类似的东西“肯定”会在不久的将来进入 CacheLogic 的工具箱。

安德森说,他对将其商业化不感兴趣。他和他的同事们发布了详细的技术规范和原型代码,并鼓励其他开发人员借鉴这项技术。

安德森说:“我希望其他人会拿走并免费使用它。我真的希望看到它在那里并被使用。”

© . All rights reserved.