人工智能不只能看“平面世界”，还能观察四维时空

本篇文章5611字，读完约14分钟

物理学概念帮助计算机学习在比二维更高的维度上“观察”。新的人工智能技术不仅可以在二维图像中找到图案，还可以在球体和其他曲面上找到图案，从而将人工智能从“平面世界”中跳出。

▲新的深度学习技术在从ct扫描中更准确地识别肺部肿瘤方面显示出良好的前景，有朝一日可能带来更好的医学诊断。

以下是翻译

电脑现在可以驾驶，在国际象棋和围棋中击败世界冠军，甚至可以创作论文。人工智能的革命在很大程度上源于一种特殊的人工神经网络，其设计灵感来自哺乳动物视觉皮层中相互连接的神经元层。令人惊讶的是，这些“卷积神经网络”已经被证明能够熟练地学习二维数据中的模式，特别是在计算机视觉任务中，例如识别数字图像中的手写字符和对象。

然而，当应用于没有内置平面几何的数据集时——例如，3D计算机动画中使用的不规则形状模型，或者自动驾驶汽车生成的绘制周围环境的点云——这种强大的机器学习架构将不起作用。2016年，一门名为几何深度学习的新学科诞生了，其目标是打破二维世界中的卷积神经网络。

现在，研究人员提出了一个新的理论框架，用于构建能够学习任何几何表面模式的神经网络。这些网络被称为“标准化等变神经网络”，由阿姆斯特丹大学的塔科 科恩、莫里斯·韦勒、伯克基卡纳奥卢和马克斯 韦林以及高通人工智能研究所联合开发。它们不仅可以找到二维像素阵列的图案，还可以找到球体和非对称曲面物体的图案。"这个框架是对表面深度学习问题的明确回答."林炜说。

在从模拟全球气候数据中学习模式方面，卷积神经网络已经大大超过了它们的前辈。这些算法也可用于改善无人驾驶飞行器和自动驾驶车辆观察三维物体的视觉，并从从心脏、大脑或其他器官的不规则表面收集的数据中发现模式。

高通和阿姆斯特丹大学的机器学习研究员塔科·科恩是典型等变卷积神经网络的主要设计者之一。

研究人员提出的打破平面世界深层学习的解决方案也与物理学有着深刻的联系。描述世界的物理理论，如爱因斯坦的广义相对论和粒子物理学的标准模型，显示了一种称为“规范等变”的性质。这意味着世界上物体的数量和它们之间的关系是独立于任何参考系统(或“量规”)的；无论观察者是移动的还是静止的，无论刻度上的数字相距多远，它们都是一致的。在不同量规上进行的测量必须能够相互转换，以保持物体之间的基本关系。

例如，以码为单位测量足球场的长度，然后以米为单位测量。测量的数字会改变，但这种改变是可以预测的。类似地，两个摄影师从两个不同的有利位置拍摄一个物体会产生不同的图像，但是这些图像可以相互关联。标准化和其他变化确保物理学家的现实模型是一致的，不管他们选择什么样的视角或测量单位。归一化等变卷积神经网络对数据做了同样的假设。

纽约大学的物理学家凯尔·克兰默说:“他们想把这个物理概念应用到神经网络中去。”“他们终于想到了一个办法。”

2015年，伦敦帝国理工学院的计算机科学家迈克尔·布朗·布朗斯坦(michael brown Bronstein)创造了“几何深度学习”这个术语，用来描述逃离二维世界的最初努力，并设计了一个可以从非平面数据中学习模式的神经网络。这个术语以及相关的研究工作很快变得流行起来。

布兰克斯坦和他的编辑知道，要超越欧几里德平面，他们需要重新想象一个基本的计算过程，这个过程使得神经网络在2D图像识别中如此有效。这一过程称为“卷积”，它使一层神经网络对小的输入数据进行数学运算，然后将结果传递给下一层神经网络。

"粗略地说，你可以把卷积想象成一个滑动窗口."布兰克斯坦解释道。卷积神经网络像过滤器一样在数据上滑动许多这样的“窗口”，并且每个窗口被设计成发现数据中的特定模式。对于猫照片，经过训练的卷积神经网络使用过滤器来寻找原始输入像素中的低级特征，例如边缘。这些特征信息被传输到网络中的其他层，然后这些层执行额外的卷积并提取更高级的特征，例如眼睛、尾巴或三角形耳朵。被训练来识别猫的卷积神经网络最终将使用这些分层卷积结果来给整个图像分配标签，例如“猫”或“不是猫”。

但是这种方法只适用于飞机。"当你要分析的曲面变成曲面时，你基本上就有麻烦了."韦林说。

在曲面(几何学中称为流形)上进行卷积运算的难度与拿着一张半透明的小纸片，把它放在地球仪上，试图精确描绘格陵兰岛的海岸线没有什么不同。当你把图表纸压在格陵兰岛上时，它肯定会起皱，这意味着当你把它平放时，你的画会变形。然而，使图表纸与地球上的一个点相切，盯着纸同时跟踪格陵兰岛的边缘(一种称为墨卡托投影的技术)也会产生变形。如果歧管不是像球体一样整齐的球体，而是更复杂或不规则的东西，比如瓶子的三维形状或打褶的蛋白质，那么在上面盘旋就更困难了。

2015年，Brost和他的同事们找到了一个在非欧几里得平面上卷曲的解决方案:将“滑动窗口”重新想象成一个形状更像圆形蜘蛛网而不是图表纸的东西，这样当你把它压在地球仪(或任何其他曲面)上时，它就不会起皱、拉伸或撕裂。

以这种方式改变滑动滤波器的属性使得卷积神经网络更好地“理解”一些几何关系。例如，网络可以自动识别弯曲成两种不同姿势的3d图形，例如站立的人和抬起一条腿的人，是同一对象的实例，而不是两个完全不同的对象。这种变化也使得这种神经网络的学习效率大大提高。标准的卷积神经网络“使用数百万个形状样本，需要数周的训练。”布兰克斯坦说:“我们用了大约100种不同的姿势，训练了大约半个小时。”

与此同时，塔科·科恩和他在阿姆斯特丹的同事开始从相反的方向解决同样的问题。2015年，当时还是研究生的科恩没有研究如何跳出平面世界进行深度学习。相反，他感兴趣的是他认为的实际工程问题:数据效率，或者如何使用更少的样本来训练神经网络，而不是像往常一样使用数千甚至数百万个样本。科恩说:“例如，深度学习法是一种非常缓慢的学习方法。”如果你正在训练卷积神经网络来识别猫，那就没有问题了(因为互联网上有无数的猫的图片)。然而，如果你想让这个网络找到更重要的东西，比如肺组织图像中的癌性结节，就不那么容易找到足够的训练数据——这些数据需要准确和适当的医学标记，而且不存在隐私问题。训练网络所需的样本越少越好。

科恩知道，提高神经网络数据效率的一种方法是预先对数据做出一定的假设——例如，肺肿瘤仍然是肺肿瘤，无论它是旋转的还是反映在图像中的。一般来说，卷积网络必须在同一模式下用许多不同方向的例子进行训练，并从零开始学习这些信息。2016年，科恩和韦林合著了一篇论文，定义如何将这些假设编码到神经网络中，作为几何对称。这种方法非常有效。2018年，Cohen和Mary sia winkers进一步扩展了这种方法，证明它在ct扫描中识别肺癌方面具有令人满意的效果:他们的神经网络仅使用用于训练其他网络的数据的十分之一就可以识别这种疾病的视觉证据。

在此基础上，阿姆斯特丹的研究人员继续总结。这就是他们如何实现标准化和其他变化的过程。

物理学和机器学习有一个基本的相似之处。正如科恩所说，“这两个领域与观测和建模有关，以预测未来的观测结果。”他指出，非常重要的是，这两个领域不是在寻找单一物体的模型——给氢原子和倒氢原子不同的描述是不好的——而是在寻找一般类别的物体的模型。"当然，物理学在这方面相当成功."

等变(物理学家喜欢用“协方差”)是自爱因斯坦以来物理学家用来总结他们的模型的假设。“这意味着你对某些物理现象的描述应该与你使用的‘标尺’和你是什么样的观察者没有任何关系。”阿姆斯特丹大学的理论物理学家米兰达说。或者如爱因斯坦自己在1916年所说:“自然的一般规律是用适用于所有坐标系的方程来表示的。”

阿姆斯特丹大学的理论物理学家米兰达·郑

卷积网络已经成为最成功的深度学习方法之一，它利用了这一原理的一个简单例子- “翻译和同等变化”。发现图像中某一特征(如垂直边缘)的窗口滤波器会在像素平面上滑动(或“平移”)，并对所有这些垂直边缘的位置进行编码；然后，它创建一个标记这些位置的“要素地图”，并将其传输到网络中的下一层。由于平移和其他改变，有可能创建特征图:神经网络“假设”相同的特征可以出现在二维平面的任何地方，并且可以将垂直边缘识别为垂直边缘，无论它是在右上角还是左下角。

"等变神经网络的关键是把这些明显的对称性放进网络结构中."韦勒说。

2018年，韦勒、科恩和他们的博士生导师马克斯·韦林将这一概念扩展到了其他同种变异类型。他们的“组等变”卷积神经网络可以在平面图像中找到旋转或反射特征，而无需训练那些定向特征的具体例子；球面卷积神经网络可以根据球面数据生成特征图，而不会扭曲成平面投影。

这些方法仍然不够普遍，无法处理具有不均匀和不规则结构的多种数据，这些数据描述了几乎所有物体的几何结构，从土豆到蛋白质，到人体，再到空曲率。这些类型的流形没有“全局”对称性，所以神经网络不能假设它们是等变的:它们的每个位置都是不同的。

挑战在于在平面上滑动平面滤镜会改变滤镜的方向，这取决于它选择的特定路径。想象一个设计用来寻找简单图案的过滤器:左边是一个黑点，右边是一个光点。在飞机上上下左右滑动，它总是保持右侧朝上。但是在球面上，这种情况将会改变。如果你将滤镜在球体赤道周围移动180度，滤镜的方向将保持不变:左边是黑点，右边是亮点。然而，如果你让它先通过球体的北极，然后把它滑动到相同的位置，滤镜会颠倒过来——黑色的斑点在右边，而浅色的斑点在左边。过滤器不会在数据中找到相同的模式，也不会对相同的要素图进行编码。在更复杂的流形上移动过滤器可能指向任何不一致的方向。

幸运的是，物理学家已经解决了同样的问题，并找到了解决方案:规范和其他变化。

韦林解释说，关键是在不同路径上移动时，要忘记跟踪过滤器的方向变化。相反，您可以只选择一个过滤器方向，并定义一个一致的方式将所有其他方向转换成它。

问题是，尽管任何测量指标都可以在初始方向上使用，但在将其他指标转换为参考系时，必须保留基本模式——就像将光速单位从米/秒转换为英里/小时时，必须保留基本物理量一样。林炜说，通过这种规范的方法，“实际数字会发生变化，但它们的变化是完全可以预测的。”

科恩、韦勒和韦林在2019年将标准等变码编码到他们的卷积神经网络中。他们实现这一点的方法是通过卷积对神经网络在数据中“看到”的东西设置数学约束；只有典型的等变模式通过神经网络层传输。“基本上，你可以给它任何表面——从欧几里得平面到任意弯曲的物体，包括像克莱因瓶或四维时间空-no这样的奇异流形——无论什么表面，你都可以做很好的深度学习。”林炜说。

正则等变卷积神经网络的理论是如此的一般化，以至于它自动地集成了先前的几何深度学习方法的固有假设，例如球面上的旋转。甚至布兰克斯坦的早期方法——让神经网络识别弯曲成不同姿势的单一三维形状——也适用于此。“标准化和其他变化是一个非常广泛的框架。它包含我们在2015年制作的特殊设置。”布兰克斯坦说。

理论上，正则等变卷积神经网络可以应用于任何维度的表面，但是科恩和他的合作者已经在全球气候数据上测试了它。这些数据必须具有基本的三维球形结构。他们用标准的等变框架构建了一个卷积神经网络，该网络被训练成从气候模拟数据中发现极端天气模式，如热带气旋。2017年，政府和学术研究人员使用标准卷积网络从数据中找到热带气旋，准确率为74%；去年，标准等变卷积神经网络以97.9%的准确率发现了这个气旋。(其准确率也超过了2018年为球体设计的不太通用的几何深度学习方法——该系统的准确率为94%。(

在劳伦斯·伯克利国家实验室使用深度学习技术的气候学家马乌尔·穆迪根达说，他将继续关注正则等变卷积神经网络。“人类视觉智能的这一方面”——无论模型的方向如何，都可以准确地识别出来——“是我们希望给气候社区带来的。”高通公司最近聘请科恩和韦林收购其初创公司，旨在整合他们对等变神经网络的早期研究。高通公司现在正计划应用正则等变卷积神经网络理论开发更先进的计算机视觉应用，例如使无人驾驶飞行器能够实时执行360度全景“观察”。(这种鱼眼镜头可以自然地映射到球体上，就像全球气候数据一样。(

同时，正则等变卷积神经网络越来越受到像克兰默这样的物理学家的欢迎，他们计划用它来研究亚原子粒子相互作用的模拟数据。克兰默说:“我们正在分析与强核力相关的数据，试图了解质子内部的情况。数据是四维的，因此我们有一个完美的神经网络用例，可以进行这样的规范更改。”

研究典型等变神经网络的前物理学家Risi kondor说，典型等变卷积神经网络的潜在科学应用可能比它们在人工智能中的应用更重要。

他说:“如果你在youtube上识别猫，但发现你不太擅长识别颠倒的猫，这不是很好，但也许你可以接受。”但是对于物理学家来说，确保神经网络不会因特定方向而误解力场或粒子轨迹是非常重要的。秃鹰指出:“这不仅仅是一个方便的问题。”"尊重基本对称性是很重要的."

然而，尽管物理学家的数学有助于激发正则等变卷积神经网络，物理学家可能会发现它们的众多用途，但科恩指出，这些神经网络本身不会发现任何新的物理现象。他说:“我们现在可以设计一个网络，可以处理非常奇怪的数据类型，但你必须首先知道这些数据的结构。”。换句话说，物理学家可以使用正则等变卷积神经网络，因为爱因斯坦已经证明了时间空可以表示为四维弯曲流形。科恩的神经网络本身无法“看到”这种结构。他说，“学习对称是我们不会做的事情”，尽管他希望在未来也能做到。

科恩不禁为他曾经凭直觉感觉到的跨学科联系感到高兴，现在他已经用数学的严密性证明了这一点。“我一直觉得机器学习和物理做的事情非常相似。”他说:“这是我发现的一件非常了不起的事情:我们刚刚开始解决这个工程问题。随着我们开始改进我们的系统，我们逐渐发现两者之间的联系越来越多。”