解决数字拼图

能够按颜色、细节和纹理对图像进行排序的计算机程序可以帮助修复在地震中被毁的中世纪壁画

图片来源:加州大学
B
壁画 来自意大利阿西西圣方济各大教堂的壁画被复制(上图),供科学家们希望了解计算机是否可以帮助修复在近四年前的地震中被毁的原作。

1997年9月26日清晨,一场轻微的地震袭击了意大利北部,震动了脆弱的13世纪阿西西圣方济各大教堂。只发生了轻微的损坏,修士们纷纷感谢上苍。然而,九小时后,发生了第二次、更为强烈的地震。几秒钟内,上层大教堂的拱形天花板坍塌,导致一名修士、一名见习修士和两名技术人员死亡。同时,几幅著名的中世纪壁画坠落到地面,破碎成成千上万的碎片和尘埃。


支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保关于塑造我们当今世界的发现和思想的具有影响力的故事的未来。


生命的逝去是一场悲剧,而艺术的损失则是一场灾难。被毁坏的壁画包括乔托的《圣杰罗姆》和切尼·迪佩皮(又名奇马布埃)的《圣马太》。两位艺术家都被认为是意大利绘画之父。此外,乔托绘制的模具和教堂的祭坛也丢失了。当时在大教堂倒塌现场的摄影师吉戈·罗利后来发表了当天的日记,写道:“我想哭。” 罗利在过去的四个月里详细拍摄了这些壁画。

许多专家担心壁画永远无法修复。但是,一个国际科学家团队现在表示,他们有一种方法可以利用罗利的照片、其他图像和计算机算法来指导修复过程接近完成。他们的方法——上周在克罗地亚普拉举行的第二届图像和信号处理与分析国际研讨会上提出——依赖于一个计算机程序来对哪些碎片与哪些碎片相邻进行排序,就像解决一个数字拼图一样。

为了证明这种方法可行,三位对壁画感兴趣的意大利电气工程师——罗马第一大学的乔瓦尼·贾科维蒂和罗马第三大学的亚历山德罗·内里和马可·卡利——首先进行了一项可行性研究。他们聘请了一位艺术家制作了奇马布埃壁画的复制品,然后以一种能够再现照明、拱形天花板的曲率和高度对原作产生的影响的方式对其进行了拍照。他们砸碎了假货,拍摄了碎片,并将其扫描到计算机中,创建了一个碎片数据库。

接下来,三人开发了一种计算机算法,用于搜索碎片数据库,根据颜色和细节查找与完整照片的部分匹配的碎片。内里说:“我们的方法是通过让计算机重新定位具有最高置信水平的碎片来实现的。”“然后,连续搜索会降低置信水平”——这是一种类似于首先找到拼图的角片的策略。最终,该算法正确放置了 90% 到 98% 的碎片。

图片来源:加州大学圣巴巴拉分校
碎片 来自复制品,就像来自阿西西壁画的碎片一样,比拼图更难放置。颜色与原作不匹配,锯齿状边缘也没有对齐。
.

然而,当意大利团队开始考虑真正的碎片和罗利的照片时,他们知道自己遇到了问题。他们不再能使用纯色来猜测原始碎片中不同碎片来自哪里。750 年前的壁画是画在水泥上的,其中一些水泥在撞击大教堂地板时粉碎了。当工人们从剩余的碎片中洗去这些灰尘时,他们也洗去了壁画上长期积累的烟灰。因此,碎片中的颜色与照片中的颜色不匹配。

因此,内里、卡利和贾科维蒂向加州大学圣巴巴拉分校的桑吉特·米特拉寻求帮助。内里和卡利都曾在米特拉的研究实验室担任访问科学家,该实验室专门研究颜色过滤或校正和颜色匹配。“当马可去年夏天解释说他们正在进行基于像素的分析时,我建议他们也使用纹理,”米特拉回忆说。“换句话说,不仅仅是一个像素,而是一块像素。区块提供了一种更加稳健的方法,使得搜索和排序过程更快。”

米特拉的小组探索了这种基于纹理的排序,希望为未来开发新的互联网搜索引擎。“给我一只吠叫的狗或一个旋转的黄色碗,”米特拉实验室的研究生瑟坎·哈蒂波格鲁举例说,“但搜索不是使用单词,而是使用图像特征。”哈蒂波格鲁花了四年时间研究这个问题,“试图找到区分图像的特征,这样我就不必查看所有图像信息。我只是从纹理模式中提取特征,并将这些特征与数据库中找到的相似图像进行比较。”

就破损的壁画而言,哈蒂波格鲁应用了这种基于纹理的排序来挑选出纯水泥。因此,该团队能够快速从碎片的图像中减去所有那些不属于原始壁画的破碎边缘和三维面——这种简化应该使匹配颜色和细节的任务更加容易。

如果他们最终能达到那一点。到目前为止,科学家们与阿西西的实际修复项目几乎没有联系。内里和卡利说,也许一些修复专业人士觉得使用计算机的想法令人反感。无论如何,根据他们对阿西西壁画的研究,研究人员建议所有容易发生地震的国家都存档其无价艺术品的广泛摄影调查;如果发生灾难,计算机和图像处理技术可能会来救援。

© . All rights reserved.