艺术家神经网络

从类似致幻剂的 DeepDream 合成图像到引人入胜的风格迁移视频,视觉效果为进入机器学习世界提供了一个有趣的切入点

加入我们的科学爱好者社区!

本文发表于《大众科学》的前博客网络,反映了作者的观点,不一定反映《大众科学》的观点


原始照片由 Jen Christiansen 拍摄。通过 Deep Dream Generator 进行转换,基于 开源代码

还记得去年夏天涌现的卷积神经网络艺术作品吗?它们以类似致幻剂的 DeepDream 图像的形式出现,就像上面的那张一样。受谷歌工程师团队的博客文章代码发布的启发,令人难忘的合成图像生成——也称为盗梦空间主义,这是对与电影相关的互联网迷因“我们需要更深入”的致敬——成为了人工神经网络的典型代表。

也许您也熟悉去年夏天的风格迁移示例。在“艺术风格的神经算法”中,Leon Gatys、Alexander Ecker 和 Matthias Bethge 将其描述为一个系统,该系统“使用神经表示来分离和重组任意图像的内容和风格,为艺术图像的创作提供神经算法。” 想象一下,您的度假照片以巴勃罗·毕加索的风格呈现,或者莱昂纳多·达·芬奇的蒙娜丽莎以文森特·梵高的星夜的风格绘制。您可以在艺术家和程序员 Gene Kogan 的博客文章“机器与隐喻”中直接看到该示例。


关于支持科学新闻

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保有关当今塑造我们世界的发现和想法的具有影响力的故事的未来。


上个月,在他的演讲“神经美学”中,在明尼阿波利斯的 Eyeo 艺术节上,Kogan 回顾了盗梦空间主义、风格迁移和其他涉及视觉输出的机器学习方法背后的基本概念和过程。然后,他提高了赌注——并让我大开眼界——展示了一系列神奇的动态图像。基于 Manuel Ruder、Alexey Dosovitskiy 和 Thomas Brox 在“视频的艺术风格迁移”和 他们的代码中描述的方法,Kogan 开发了一系列风格迁移视频,这些视频根植于他在纽约 J 线火车窗外拍摄的镜头。以下是一些片段的预览。第一个以梵高的星夜风格渲染视频。第二个以谷歌地图图像渲染它。

Kogan 指出,他对“更广泛意义上的风格迁移很着迷——在音频领域、文本或其他类型的媒体中应用类似的技术。风格对我们来说是如此抽象的概念,这就是为什么算法推断它如此有趣,即使它不美观。如果他们可以捕捉风格,他们还能理解哪些其他无形的东西?” 有关静态和视频风格迁移的更多示例,以及近乎实时的风格迁移“镜子”(!)请参阅 Kogan 的网站。 

有关深度学习工作原理的一些可视化解释,请查看“揭示深度学习的隐藏层。” 对您来说太基础了吗?然后继续阅读 艺术家机器学习(Kogan 和 Francis Tseng 正在开发的资源)以及 Kogan 的 纽约大学课程笔记和视频。有关更多来自《大众科学》页面的内容,请参阅 Yoshua Bengio 的“人工智能的春天:深度学习的兴起”。与 Bengio 的“大规模机器学习”视频搭配观看效果更佳。

Jen Christiansen 是《构建科学图形:通过图表和可视化传达科学的图解指南》(CRC Press 出版社)一书的作者,也是《大众科学》的高级图形编辑,她在该杂志中指导并制作图解说明图和数据可视化。1996 年,她在纽约市《大众科学》开始了她的出版生涯。随后,她搬到华盛顿特区,加入了《国家地理》的工作人员(最初担任助理艺术总监兼研究员的混合职位,然后担任设计师),花了四年时间担任自由科学传播者,并于 2007 年重返《大众科学》。Christiansen 的演讲和写作主题广泛,从调和她对艺术和科学的热爱,到她探索 Joy Division 专辑《Unknown Pleasures》封面上脉冲星图的奥秘。她拥有加州大学圣克鲁兹分校的科学传播研究生证书,以及史密斯学院的地质学和工作室艺术学士学位。在 Bluesky 上关注 Christiansen @jenchristiansen.com

更多作者:Jen Christiansen
© . All rights reserved.