面对数据洪流,天文学家转向自动化

无论是好是坏,机器学习和大数据都将改变天文学的研究

在智利一座山顶的日落时分拍摄的在建大型综合巡天望远镜 (LSST)。天文学家们正在努力解决如何管理 LSST 和其他新型天文台即将产生的数据洪流。

2017 年 8 月 18 日,天文学新时代恰如其分地以一条推文拉开序幕:“新 LIGO。光学对应源。让你大吃一惊!” 一位天文学家抢先一步,在 LIGO(激光干涉引力波天文台)官方宣布之前发布了推文。该天文台探测到引力波爆发,即时空中的涟漪,一颗环绕地球运行的伽马射线望远镜同时探测到来自同一空间区域的电磁辐射。这些观测结果——追溯到 1.3 亿光年外一对碰撞的中子星——标志着多信使天文学的关键时刻,在这种天文学中,天体事件是使用各种截然不同的望远镜和探测器进行研究的。

多信使天文学的前景是巨大的:通过不仅在光中观测,而且同时在引力波和难以捉摸的粒子(称为中微子)中进行观测,研究人员可以前所未有地观察到爆炸恒星、星系核和其他奇异现象的内部运作。但挑战也很大:随着天文台变得更大、更灵敏,并监测越来越大的空间体积,多信使天文学可能会淹没在数据洪流中,使得望远镜更难实时响应正在展开的天体物理事件。因此,天文学家们正在转向机器学习——这种技术催生了 AlphaGo,第一个击败职业围棋选手的机器。

机器学习可以通过自动化发现的关键早期阶段来推动多信使天文学的发展,从充满噪声的数据洪流中筛选出潜在信号,以便天文学家可以将注意力集中在最诱人的目标上。但这项技术的前景不止于此。天体物理学家也在尝试使用它来称量星系团,并创建研究宇宙演化所需的高分辨率模拟。尽管人们担心机器学习算法的工作原理,但它们在速度和效率方面提供的巨大改进是毋庸置疑的。


关于支持科学新闻报道

如果您喜欢这篇文章,请考虑通过以下方式支持我们屡获殊荣的新闻报道 订阅。通过购买订阅,您正在帮助确保未来能够继续讲述关于塑造我们当今世界的发现和想法的具有影响力的故事。


伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心 (NCSA) 的天体物理学家和人工智能研究员 Eliu Huerta 说:“这就像一场海啸。” “人们意识到,对于未来[即将到来]的大数据,我们不能再依赖过去的做法了。”

引力波热线

就 LIGO 及其欧洲同行 Virgo 而言,过去并没有追溯到很久以前。直到 2016 年 2 月,这些天文台才宣布首次探测到引力波,它是由两个黑洞合并产生的。现在,在 4 月开始的第三次观测运行中,先进版本的 LIGO 和 Virgo 已经开始发布关于探测到的新潜在引力波源的公共警报,所有这些都是为了更好地支持多信使观测。

这种做法似乎是例行公事,但它掩盖了每次探测所需的巨大努力。例如,LIGO 收集的信号必须由超级计算机与数十万个可能的引力波特征模板进行匹配。有希望的信号会触发内部警报;那些经受住额外审查的信号会触发公共警报,以便全球天文界可以寻找电磁和中微子对应物。

模板匹配的计算量非常大,对于合并产生的引力波,天文学家仅使用碰撞宇宙物体的四个属性(两者的质量和自转的大小)来实时进行探测。从那时起,LIGO 科学家花费数小时、数天甚至数周的时间进行更多的离线处理,以进一步完善对信号源的理解,这项任务称为参数估计。

为了寻求使迷宫般的流程更快、计算效率更高的方法,在 2018 年发表的论文中,Huerta 及其在 NCSA 的研究小组转向了机器学习。具体而言,Huerta 和他当时的研究生 Daniel George 开创了使用所谓的卷积神经网络 (CNN) 的先河,卷积神经网络是一种深度学习算法,用于实时检测和解码引力波信号。深度学习算法使用由层组成的网络。每一层都由模仿人脑神经元活动的节点组成。粗略地说,训练或教导深度学习系统包括向其输入已经分类的数据——例如,被大量噪声遮蔽的星系图像——并使网络正确识别数据中的模式。训练数据集可能涉及数万甚至数百万个先前分类的数据实例。网络通过调整其类神经元节点之间的连接来学习,从而最终理解未分类的数据。

在 CNN 取得初步成功后,Huerta 和 George 以及 Huerta 的研究生 Hongyu Shen 扩大了这项工作,设计了深度学习算法,这些算法在超级计算机上使用数百万个模拟引力波特征进行训练,这些特征与来自高级 LIGO 先前观测运行的噪声混合在一起——高级 LIGO 是 2015 年完成的 LIGO 升级版。这些神经网络学会了在高级 LIGO 噪声中找到嵌入的信号。

这种方法与 LIGO 的标准方法之间存在关键差异。最重要的是,深度学习算法可以实时进行检测和参数估计。此外,与 LIGO 目前管理的四个参数相比,它们可以轻松地处理更多参数。例如,Huerta 小组的高中生 Adam Rebei 在最近的一项研究中表明,深度学习可以识别由偏心轨道上的黑洞合并产生的复杂引力波信号——这是 LIGO 的传统算法无法实时完成的。“对于 LIGO 检测到的已在出版物中报告的每个黑洞合并信号,我们都可以在两毫秒内重建所有这些参数,”Huerta 说。相比之下,传统算法可能需要数天才能完成相同的任务。

由于其能够搜索更大的参数集,深度学习系统有可能发现 LIGO 可能会错过的特征。虽然训练需要超级计算机,但一旦经过训练,神经网络就变得精简而灵活,计算占用空间极小。“你可以把它放在手机上并实时处理 LIGO 数据,”Huerta 说。

天空中的人工眼睛

Huerta 现在正在与麻省理工学院 LIGO 合作组织的成员 Erik Katsavounidis 合作,在现实世界中测试深度学习算法。“目标是在 LIGO 和 Virgo 探测器的第三次和第四次观测运行中部署其中的一些算法,”Huerta 说。“这将是一次很好的社会实验,看看我们如何对神经网络发现其他算法未观察到的复杂信号做出反应,例如。”

如果成功,这样的深度学习系统将非常高效地为其他望远镜生成警报。这些望远镜中最雄心勃勃的望远镜仍在智利 Cerro Pachón 山顶建造,是大型综合巡天望远镜 (LSST)。建成后,8.4 米的 LSST 将能够一次观测 10 平方度的天空(相当于 40 个满月的大小),每晚产生 15 到 20 太字节的原始数据——与斯隆数字巡天在十年内产生的数据量相同。在如此庞大的数据宝库中,LSST 的天文学家将寻找超新星、碰撞恒星和其他瞬变或可变现象——在电磁频谱中瞬间变亮,然后在数小时、数天或数周内逐渐消失的源。任何给定瞬变体的科学价值通常与后续观测发生的速度和彻底程度成正比。

加州大学伯克利分校的天体物理学家和机器学习专家 Joshua Bloom 说:“我们必须能够梳理每晚天空变化位置的 100 万到 1000 万个警报,并在实际上实时决定哪些值得使用宝贵的资源进行后续观测。” “机器学习将在其中发挥巨大作用。” 这种方法已经为 LSST 的先驱者带来了回报,包括兹威基瞬变设施 (ZTF),该设施使用一个视场为 47 平方度的相机,安装在加利福尼亚州帕洛玛天文台的一台 1.2 米望远镜上。在预印本论文中,加州理工学院的 Dmitry Duev 和他的同事最近报告说,一个名为 DeepStreaks 的系统已经在帮助天文学家跟踪小行星和其他快速移动的近地天体。“我们可以将探测条纹小行星的效率提高几个数量级,”研究人员写道。

类似的技术可以用于在 ZTF 数据中搜索其他瞬变源。“机器学习对于项目的成功非常重要,”Bloom 说。多信使天文学的另一个重要组成部分是中微子的探测,中微子与来自类星体等天体物理物体的电磁辐射一起发射。(类星体是类星体——由遥远星系中心巨型黑洞提供动力的高亮度物体——其高能粒子和辐射喷流指向地球。)

2017 年 9 月 22 日,IceCube,一个中微子探测器,包含 5,160 个传感器,嵌入在南极下方一立方公里的冰中,探测到来自类星体的中微子。传感器寻找由μ子产生的条纹光,μ子是在中微子撞击冰时产生的。但是,少数由中微子产生的μ子可能会被数百万个由宇宙射线撞击地球大气层产生的μ子所淹没。IceCube 基本上必须筛选μ子轨迹的混乱,以识别来自中微子的μ子轨迹——这是一项为机器学习量身定制的任务。

在去年 9 月的一篇预印本论文中,纽约大学的 Nicholas Choma 和他的同事报告说,他们开发了一种特殊的深度学习算法,称为图神经网络,其连接和架构利用了冰中传感器的空间几何形状,以及只有少数传感器看到来自任何给定μ子轨迹的光这一事实。研究人员使用模拟数据(其中混合了背景噪声和信号)表明,他们的网络探测到的事件数量是 IceCube 目前使用的非机器学习方法的六倍以上。

Huerta 对这些成就印象深刻。“如果我们正在开发或建造这些下一代仪器来高保真地研究宇宙,我们也最好设计更好的算法来处理这些数据,”他说。

盒子里的爱因斯坦

尽管这些进步很重要,但深度学习算法也带来了一个主要担忧。它们本质上是“黑匣子”,其操作细节被其分层组件的互连性以及使其发挥作用所需的数千甚至数百万个可调参数所掩盖。简而言之,即使是从外部观察的专家也很难准确理解任何给定的深度学习算法是如何做出决定的。“这几乎与物理学家思考世界的方式背道而驰,物理学家认为存在——并且应该存在——非常简单的数学函数来描述世界的运作方式,”Bloom 说。

为了掌握对机器学习算法正在做什么的解释,哈佛大学的天体物理学家和机器学习研究员 Michelle Ntampaka 和她的同事开发了一个 CNN 来分析星系团的 X 射线图像。他们使用 7,896 张模拟的 329 个大型星系团的 X 射线图像对网络进行了训练和测试,这些图像旨在类似于钱德拉 X 射线天文台生成的图像。CNN 在推断星系团的质量方面与传统技术一样出色。但是,神经网络是如何完成这项工作的呢?

为了找出答案,Ntampaka 和她的团队使用了一种由 Google 的 DeepDream 项目开创的技术,该技术使人类能够可视化深度学习网络正在看到的内容。Ntampaka 的团队发现,CNN 学会了忽略来自星系团核心的光子,并且在进行预测时更关注来自其外围的光子。天文学家大约在十年前凭经验得出了这个完全相同的解决方案。“令人兴奋的是,它学会了切除核心,因为这证明我们现在可以使用这些神经网络来回溯到潜在的物理学,”Ntampaka 说。

对于 Ntampaka 来说,这些结果表明机器学习系统并非完全无法解释。“社区内存在一种误解,认为它们只能是黑匣子,”她说。“我认为可解释性即将到来。它正在到来。我们现在开始能够做到这一点。” 但她也承认,如果她的团队不了解将星系团的 X 射线辐射与其质量联系起来的潜在物理学,他们可能就不会发现神经网络正在从其分析中切除核心。

可解释性问题在纽约市扁平研究所的天体物理学家 Shirley Ho 和她的同事的工作中凸显出来。研究人员构建了一种深度学习算法,他们称之为深度密度位移模型,或 D3M(发音为“dee cube em”),以高效地创建我们宇宙的高分辨率模拟。当望远镜收集关于宇宙大尺度结构的数据时,这些数据会与我们最好的模拟进行比较,而这些模拟本身是基于广义相对论和量子力学等理论。最佳匹配可以帮助宇宙学家理解控制宇宙演化的物理学。然而,高分辨率模拟非常昂贵——它们可能需要数百万或数千万小时的计算时间才能运行。因此,宇宙学家通常会求助于速度更快的低分辨率模拟,这些模拟会做出简化的假设,但准确性较差。

Ho 和她的同事首先生成了 10,000 对模拟,每对模拟都包含一个低分辨率或低分辨率模拟,模拟包含约 32,000 个星系的空间体积的演化,以及同一体积的高分辨率或高分辨率模拟。然后,他们一次训练 D3M 一对,为其提供低分辨率模拟(只需几毫秒即可生成)作为输入,并使其输出高分辨率对应物。一旦 D3M 学会这样做,它就可以在约 30 毫秒内为任何给定的低分辨率模拟生成每个高分辨率模拟。这些模拟与使用标准技术创建的模拟一样准确,但标准技术需要多出几个数量级的​​时间。

除了惊人的加速之外,神经网络似乎比预期的更深入地理解了数据。训练数据集仅使用一组六个宇宙学参数(例如,宇宙中被认为存在的暗物质的数量)的值生成。但是,当 D3M 被赋予一个宇宙的低分辨率模拟时,该宇宙的暗物质含量与物理学家认为我们宇宙中存在的暗物质含量显着不同,它正确地生成了一个具有新暗物质含量的高分辨率模拟,尽管从未明确教导它这样做。

对于 D3M 为何能够在暗物质含量不同的情况下从低分辨率模拟中外推高分辨率模拟,Ho 和她的团队有些不知所措。改变暗物质的量会改变影响星系的力,但该算法仍然有效。Ho 说,也许它弄清楚了仅在一个参数发生变化时的外推,如果多个参数同时发生变化,则可能会失败。她的团队目前正在测试这个假设。

Ho 补充说,另一个“真正的巨大可能性”是 D3M 偶然发现了对物理定律的更深入理解。“也许宇宙真的很简单,并且像人类一样,深度学习算法已经弄清楚了物理规则,”她说。“这就像说 D3M 已经弄清楚了广义相对论,而没有成为爱因斯坦。这可能是一种解释。我无法告诉你什么是正确的。在这一点上,在我们有更多证据之前,这几乎是哲学性的。”

与此同时,该团队正在努力使 D3M 在外推到不同的宇宙学参数值时失败。“如果 D3M 在某些外推方式中失败,也许它可以为我们提供关于它最初为何有效的提示,”Ho 说。

不幸的是,在天文学、天体物理学和宇宙学中使用如此先进的技术正在酝酿一场分裂。“这正在我们的社区中造成一点‘富人和穷人’[局面],”Bloom 说。“有些人越来越精通移动数据和对数据进行推理的语言,而有些人则不然。”

随着“富人”继续开发越来越好的机器学习系统,未来出现了一个诱人的前景,即这些算法将直接从望远镜产生的数据中学习,然后进行推理,而无需使用模拟或预先分类的数据进行训练——有点像征服人类的 AlphaGo 的继任者虽然 AlphaGo 必须使用人类生成的数据进行教学,但新版本 AlphaGo Zero无需任何来自人类游戏的数据即可自学如何下围棋。如果天体物理学走同样的道路,黑匣子可能会变得更黑。

阿尼尔·阿南塔斯瓦米The Edge of Physics (Houghton Mifflin Harcourt, 2010)、The Man Who Wasn't There (Dutton, 2015)、Through Two Doors at Once: The Elegant Experiment That Captures the Enigma of Our Quantum Reality (Dutton, 2018) 和 Why Machines Learn: The Elegant Math Behind AI (Dutton, 2024) 的作者。

更多作者:阿尼尔·阿南塔斯瓦米
SA Space & Physics Vol 2 Issue 5本文最初以“面对数据洪流,天文学家转向自动化”为标题发表在SA Space & Physics 第 2 卷第 5 期 ()
doi:10.1038/scientificamericanspace1019-25
© . All rights reserved.