Bengio 团队力作：GNN 对比基准横空出世，图神经网络的「ImageNet」来了

本篇文章8130字，读完约20分钟

图形神经网络是一个热门的研究课题。然而，正如计算机视觉的兴起依赖于imagenet的诞生一样，图形神经网络迫切需要一个被全球学者认可的统一的比较基准。

最近，本吉奥带领他的团队发布了一个新的图形神经网络基准测试框架和六个附加的标准化数据集。你可以开始尽情地刷清单了！

纸质链接:arxiv.org/pdf/2003.00982.pdf

开源链接:github/graphdeep learning/benchmark-gnns

到目前为止，图形神经网络已经成为分析图形数据和学习的标准工具，并已成功地应用于各个领域(如化学、物理、社会科学、知识地图、推荐系统和神经科学)。随着这一领域的兴起，确定可在不同网络规模下推广的体系结构和关键机制变得非常重要，这使我们能够处理更大、更复杂的数据集和领域。

不幸的是，在缺乏统一的实验设置和大型数据集的标准化基准的情况下，衡量新gnn的有效性和比较模型越来越困难。

本文中，bengio 团队提出了一个可再现的gnn 参考框架，为研究者添加新的数据集和模型带来了方便。他们将这一参考框架应用于新型中型图形数据集，如数学建模、计算机视觉、化学和组合问题，从而在设计有效的 gnn时创建关键操作。同时，图形卷积、各向异性扩散、残差连接和归一化层被用作开发健壮且可扩展的gnn的通用构件。

在众多前人的努力下，图神经网络(gnn)成为近年来的一个研究热点，研究者们相继开发了一系列有前途的方法。

随着这一领域的不断发展，如何构建一个强大的gnn已经成为核心问题。什么样的架构、基本原则或机制是通用的、通用的，并且可以扩展到大型图形数据集和大型图形？另一个重要的问题是:如何研究和量化理论发展对gnn的影响？

基准测试为解决这些基本问题提供了一个强有力的例子。实践证明，这种方法有助于某些科学领域推动科学进步，明确基本思想，解决具体领域的问题。

近年来，著名的ImageNet Challenge 2012提供了一个很好的基准测试数据集，引发了深度学习的革命。来自世界各地的研究团队正竞相开发最幽默的大规模数据集图像分类类型。

由于在imagenet数据集上取得的巨大进展，计算机视觉研究界开辟了一条光明的发展道路，并且正朝着发现健壮的网络结构和训练深层神经网络的技术迈进。

然而，设计一个成功的基准是一个非常具有挑战性的任务，它需要:设计一个合适的数据集，一个健壮的编码接口，以及一个公平比较的通用实验环境，所有这些都可以在需要的时候重现。

这一需求面临一些问题:

首先，如何定义合适的数据集？收集有代表性的真实大规模数据集可能很困难。但是对于 gnn来说，这是最重要的问题之一。大多数发表的论文集中在非常小的数据集上(例如，cora和tu 数据集)。在这种情况下，几乎所有gnn性能在统计上和某种意义上都是相同的。与直觉相反，不考虑图结构的基线模型的性能相当于 gnn，有时甚至比gnn更好。

这就提出了开发新的更复杂的gnn架构的必要性，甚至是使用gnn 的必要性的问题。例如，在hoang maehara等人和chen等人2019年发表的工作中，边肖分析了gnn 中组件的能力，从而揭示了该模型在小数据集上的局限性。他们认为这些数据集不适合设计复杂的结构化归纳学习框架。

gnn 面临的另一个主要问题是如何定义一个通用的实验环境。如errica等人在2019年发表的论文《用于图分类的图神经网络的公平比较》中所述，最近基于tu 数据集的论文在训练、验证、测试集划分和评估协议上没有达成共识，这使得比较新思想和架构的性能不公平。

目前，还不清楚如何很好地划分数据集(除了随机划分)，并且已经证明这将导致过于乐观的预测结果(lohr，2009)。此外，不同的超参数、损失函数和学习速率计划使得评估体系结构的新进展变得困难。

本文的主要贡献如下:

发布了一个开放的gnn基准框架，它是基于pytorch和dgl库开发的，并托管在github上。

目的:超越目前流行的小型数据库cora和tu，引入一个由12，000~70，000个图和9~500个节点组成的中型数据集。数据集涉及数学建模(随机块模型)、计算机视觉(超级像素)、组合优化(旅行推销员问题)和化学(分子溶解度)

提议的基准框架决定了gnn的重要组成部分。图形卷积、各向异性扩散、剩余连接和归一化层是设计高效gnn最有用的技术。

编辑的目的不是对已发布的 gnn 进行排名。对于特定的任务，寻找最佳模型的计算成本非常高(超过相应的资源限制)，并且需要使用较差的验证来彻底搜索超级参数的值。相反，边肖为所有参数变化的模型制定了实验计划，并分析了性能趋势，从而确定了重要的 gnn机制。

数值结果可以完全重现。

这项工作的目的之一是给出一系列易于使用的中型数据集，在这些数据集上，过去几年中提出的各种 gnn体系结构在性能上表现出明显的统计显著差异。如表1所示，本文给出了六个数据集。对于两个计算机视觉数据集，边肖通过使用“超像素”技术将经典的 mnist和cifar10数据集内的每幅图片转换为图形形式(详见原文第5.2节 )。下一个任务是对这些图表进行分类。

表1:拟议基线数据集统计表

“模式”和“聚类”数据集是根据随机块模型生成的(详见原文第5.4节)。对于模式数据集，相应的任务是识别预定义的子图；对于集群数据集，相应的任务是识别集群。以上两个任务是节点分类任务。

tsp 数据集是基于旅行商问题构建的(给定一组城市，找到访问每个城市并返回原点的最短可能路径)。详见原文第5.5节。边肖将随机欧氏图上的tsp视为边分类/连接预测任务，其中每个边的真值由协和求解器给出的tsp路径决定。

如原文第5.3节所述，锌是现实世界中存在的分子数据集。每个分子都可以转化成一个图形:每个原子充当一个节点，每个化学键充当一条边。这里相应的任务是回归一种叫做受限溶解度的分子性质。

本文提出的每个数据集至少包含12，000个图形。这与经常使用的cora和tu数据集形成鲜明对比，这些以前的数据集通常只包含几百个图表。

另一方面，本文提出的大部分数据集是人工的或半人工的(除了锌)，而cora和tu不是。因此，可以认为这些基准是相互补充的。

这项工作的主要动机是提出一个足够大的数据集，以便在不同gnn架构之间观察到的差异在统计上是显著的。

在最简单的形式中，图神经网络根据以下公式迭代地更新从一层到另一层的节点表示:

其中 是l+1层中节点I的D维嵌入表示， 是与图中节点I相连的节点集， 是节点I的度，σ是非线性函数， [/]我们称这种简单形式的图神经网络为图卷积网络(gcn)。

Graphsage和gin(图同构网络)提出了这种平均机制的简单变体。在graphsage的平均聚合版本中，公式(1)可以重写为:

嵌入的矢量在传递到下一层之前被投影到单位球面上。在gin架构中，公式(1)可以重写为:

其中 是可学习的参数，bn是批处理规范化层。值得注意的是，对于最终的预测，gin使用了所有中间层的特征。在所有上述模型中，每个邻居对中心节点更新的贡献是相等的。我们称这种模型为各向同性的，他们认为所有边的方向都是相等的。

另一方面，高斯混合模型网络monet、选通图卷积网络gatedgcn和图注意网络gat提出了各向异性更新方案:

权重 和 是使用各种机制计算的(例如，gat中的注意机制或gatedgcn中的门控机制)。

最后，我们还可以考虑一个层次图神经网络，即差分池差分池。它在层次结构的每个阶段和汇集过程中使用graphsage公式(2)。

在这里，让我们展示一下本文中提出的开源基准框架的实验结果。

本工作中使用的大多数gnn网络(包括图卷积网络gcn、图注意网络gat、图sage、微分池diffpool、图同构网络 gin、高斯混合模型网络monet)都是从深度图代码库(dgl)中导出的，并由pytorch 实现。边肖使用剩余链接、批处理规范化和图形大小规范化来改进所有dgl版本的gnn实现。门控图卷积网络gatedgcn 是最终考虑使用的gnn，而“gatedgcn-e”代表使用边缘属性/边缘特征的版本。

此外，边肖还实现了一个独立于特定图形的简单比较基线，它以同样的方式将多层感知器应用于每个节点的特征向量，与其他节点无关。您可以选择在后面连接一个门控机制，以便获得门控多层感知器的比较基线。

本文使用NVIDIA 1080ti的gpu，对tu、mnist、cifar10、锌和tsp数据集进行了实验，并使用NVIDIA 2080ti的gpu对模式和聚类数据集进行了实验。

1.tu数据集上的地图分类

第一个实验是在 tu数据集上对图形进行分类。本文选取了三个tu数据集，包括酶(训练集、验证集和测试集分别包含480、60和60个图，大小为 2-126)，dd(训练集、验证集和测试集分别包含941、118和119个图，大小为30-5748)，和

实验结果如表2所示。从统计上讲，所有的神经网络都有相似的性能，但是标准差很大。

表 2:标准tu 测试数据集上的模型性能(值越高越好)。给出了两个实验的结果。这两个实验中使用的超参数是相同的，但是使用的随机种子是不同的。边肖分别展示了这两个实验的结果，从而说明了分类和再现性的差异。性能最好的结果用红色粗体表示，性能第二的结果用蓝色粗体表示，性能第三的结果用黑色粗体表示。

2.使用超像素的图形分类

在第二个实验中，边肖使用了计算机视觉领域中流行的mnist和cifar10图像分类数据集。他们使用超级像素将原始的mnist和cifar10图像转换成图形。

在 mnist数据集中，训练集、验证集和测试集分别包含55，000、5，000和10，000个图，大小为40-75个节点(即[/h 超像素的个数)；在cifar10数据集中，训练集、验证集和测试集分别包含45，000、5，000和10，000个 图，大小为85-150个节点。

对于每个样本，边肖构造了权重为 的K近邻邻接矩阵，其中x_i和x_j是超像素I和j的二维坐标，σ_x是缩放参数(通过计算每个节点的K近邻的平均距离x_k获得)。mnist和cifar10的超级像素图的可视化结果如图1所示。

图1:示例图及其超级像素图。由slic获得的超像素图(mnist最多具有75个节点，而cifar10最多具有150个节点)是从欧几里德空获得的8-最近邻图，并且图中节点的颜色表示平均像素强度。

mnist和cifar 10数据集的图表分类结果如表3所示。

表 3:标准mnist和cifar10 测试数据集的模型性能(值越高越好)。实验结果是通过对四个不同种子的实验进行平均而获得的。红色代表最好的型号，紫色代表更好的型号，粗体黑色代表有剩余连接和没有剩余连接的型号中的最佳型号(如果它们具有相同的性能，它们都是粗体黑色字体)。

3.分子数据集上的图形回归

边肖使用 锌分子图谱数据集来回归被称为“受限溶解度”的分子性质。在锌 数据集中，训练集、验证集和测试集分别包含10，000、1，000和1，000个节点/原子，大小为9-37 。对于每个分子图，节点的特征是原子的种类，边的特征是边的种类。实验结果如表4所示。

表 4:标准锌 测试数据集的模型性能(值越低越好)。实验结果是通过对四个不同种子的实验进行平均而获得的。红色代表最好的型号，紫色代表更好的型号，粗体黑色代表有剩余连接和没有剩余连接的型号中最好的型号(如果它们有相同的性能，它们都是粗体黑色字体)。

4.对sbm数据集中的节点进行分类

这里，边肖考虑节点级图模式识别任务和半监督图聚类任务。图形模式识别任务旨在找到嵌入在各种大小的大图形 g中的固定图形模式p。对于gnn ，识别不同图形中的模式是最基本的任务之一。模式和嵌入图由随机块模型(sbm)生成。Sbm 是一个随机图，它根据以下规则将社区分配给每个节点:对于任何两个节点，如果它们属于同一个社区，连接在一起的概率是 p，如果它们属于不同的社区，连接在一起的概率是q(q的值是噪声水平)。

在所有实验中，边肖生成了一个包含5个社区的图 g，每个社区的规模是在[5，35]之间随机生成的。每个社区的sbm规则为p = 0.5，q = 0.2，G上的信号是通过对3个 变量(即{0，1，2})的均匀随机分布进行采样获得的。边肖随机生成100个模式P，由20个节点组成，内部概率为p_p = 0.5，外部概率为q_p = 0.5(即P中50%的节点与G的非P部分相连)。p 上的信号也是{0，1，2}中产生的随机信号。在模式数据集中，训练集、验证集和测试集分别包括10，000、2，000和2，000个 图，大小为50-180个节点。当节点从属于p时，输出信号的值为1，当节点位于g而不从属于p时，输出信号的值为0。

半监督聚类任务是网络科学中的另一个基本任务。边肖已经生成了六个大小为 的sbm簇，其大小在[5，35]之间随机生成，概率p = 0.55，q = 0.25。在簇 数据集中，训练集、验证集和测试集分别包括10，000、1，000和1，000个图，大小为40-190 个节点。边肖只给每个社区随机选择一个标签。输出信号被定义为聚类类别的标签。

表5:标准模式和集群sbm图测试集的模型性能(值越高越好)。红色代表最好的模型，紫色代表更好的模型，黑色代表有剩余连接和没有剩余连接的模型中最好的模型。

5.对tsp数据集中的边进行分类

近年来，应用机器学习解决 np-hard组合优化问题已经成为一个热门的研究课题。最近提出的cop深度学习求解器将gnn 与经典的图搜索方法相结合，用于根据问题实例(以图为特征)直接预测近似解。在这里，边肖考虑了被广泛研究的旅行商问题:给定一个二维欧氏图，我们需要找到一个最优的节点顺序(路径)，遍历所有节点一次，并且边的权重和(路径长度)最小。Tsp 因其多尺度特性而成为一个具有挑战性的图任务，这就要求我们对局部节点邻居和全局图结构进行推理。

在这里的tsp实验中，边肖遵循了li等人在2018年发表的论文“组合优化”

基于学习的cop 解决方案方法在 图自愿网络和引导树搜索中进行了描述，其中gnn 是主干架构，它为每条边提供了属于/部署在某个预测解决方案集中的概率。然后，边肖将通过图搜索技术将概率转化为离散决策。训练集、验证集和测试集分别包含 10，000、1，000和1，000个tsp实例，其中每个实例是由在单位平方 中均匀采样的N个节点位置( )组成的图，边肖通过均匀采样每个实例得到N个节点( )，从而产生多个具有不同大小和复杂性的tsp问题。

为了将主干gnn架构的影响从搜索部分中分离出来，边肖将tsp 作为一个边分类任务，通过协和求解器得到tsp路径中每条边的真实值。为了扩展到大的例子，边肖使用k = 25的稀疏最近邻图代替完全图。各种尺寸的tsp样品见图2。

图2:在2:tsp数据集中通过采样获得的图。节点用蓝色表示，tsp路径中的实边用红色表示。

1.在小数据集上，与图无关的神经网络(多层感知器)的性能与gnn相似

表2和表3显示，对于小的tu数据集和简单的mnist数据集，当gnn用于独立于图形的mlp基线时，没有明显的性能改进。此外，mlp有时比gnn性能更好(例如，在dd数据集上)。

2.在大数据集上，神经网络可以提高独立于图的神经网络的性能

表 4和表5显示，在锌、模式和聚类数据集上，与两个mlp 基线模型相比，所有gnn的性能都有很大提高。表6显示，使用剩余连接的gnn模型在tsp数据集上的性能优于mlp基线。表3 中的实验结果表明，尽管最佳gnn模型的性能明显优于mlp模型，但在cifar10数据集上差异不大。

3.原始gcn的性能很差

Gcn 是gnn的最简单形式。它们的节点表示的更新依赖于对相邻节点的各向同性平均操作，如公式(1)所述。陈等在 , 2019年发表论文《强大的图形神经网络是必要的吗？各向同性性质在《图的剖析》分类中进行了分析。结果表明，该方法不能区分简单的图结构，这也解释了为什么gcn 在所有数据集上都表现不佳。

4.gcn上改进的新各向同性gnn架构

图表 h/]通过绘制公式(2)说明了使用中心节点信息的重要性。Gin 还使用公式(3)中的中心节点的特征，并采用与所有中间层的卷积特征相连的新的分类器层。Diffpool 考虑了一个可学习的图形池操作，其中在每个分辨率级别都使用graphsage。这三个各向同性的gnn极大地提高了除簇 之外的所有数据集中gcn的性能。

5.各向异性gnn更精确

各向异性模型如gat、monet和gatedgcn在除模式之外的所有数据集上都取得了最佳性能。同时，边肖还注意到gatedgcn在所有数据集上都表现良好。

与主要依赖于相邻节点特征的简单求和的各向同性gnn不同，各向异性gnn采用复杂的机制(gat使用稀疏注意机制，gatedgcn使用边缘选通机制)，这使得它们更难和更有效地实现。

此外，这种 gnn还有另一个优点，即它们可以明确地使用边缘特征(例如，分子中两个原子之间的化学键的类型)，如表4所示。对于锌 分子数据集，gatedgcn-e利用了化学键的边缘特征，与没有化学键的gatedgcn相比，极大地提高了mae性能。

6.剩余连接可以提高性能

剩余连接已经成为计算机视觉领域中深度学习体系结构的一个共同组成部分。使用剩余连接可以从两个方面帮助gnn提高性能:

一方面，它限制了深度网络反向传播过程中的梯度扩散问题。另一方面，它使得在诸如gcn和gat的模型中的卷积阶段包括自节点信息成为可能，但是这些模型本身并不明确地使用该信息。

表7:有/无剩余连接(最多32层)的深度接地网的tsp测试数据集的模型性能(值越高越好)。l代表层数，黑色粗体代表有或没有剩余连接的最佳型号(如果性能相同，它们都是黑色粗体)。

图3:在锌和簇测试数据集上，有剩余连接(实线)和无剩余连接(虚线)的深度gnn(最多32层)的模型性能。实验结果是通过对四个不同种子的实验进行平均而获得的。

7.规范化层可以提高学习性能

现实世界中的大多数图形数据集都是具有不同图形大小的不规则图形的集合。将不同大小的图形作为一批处理可能会导致不同规模的节点表示。因此，归一化激活值有助于提高学习和泛化性能。

在实验中，边肖使用了两个标准化层:批量标准化(bn)和图形大小标准化(gn)。图尺寸归一化是一个简单的操作，生成的节点特征h_i是根据图尺寸归一化的结果，即 ，其中v是节点数。该归一化层被应用在卷积层之后和激活层之前。

表8:在锌、cifar10和聚类测试数据集上有或没有批量标准化(bn)和图形标准化(gn)的模型的性能。

实验结果是通过用不同种子对四个实验求平均值而获得的，用(平均标准偏差)表示。对于 锌数据集，值越低越好；对于cifar10和群集 数据集，值越高越好。粗体黑色字体代表有和没有标准化层的模型中最好的一个(当它们具有相同的性能时，都是粗体黑色字体)。

在本文中，begio等人提出了一个基准框架来促进图神经网络的研究，并解决了实验中的不一致性问题。他们证明了广泛使用的小tu数据集不适合测试该领域的创新，并在框架内引入了6个中型数据集。

针对图形的几个任务的实验表明:

1)当我们使用较大的数据集时，图的结构非常重要；

2)作为最简单的各向同性神经网络，图卷积网络不能学习复杂的图结构；

3)自节点信息、层次结构、注意机制、侧门控制和更好的读出功能是提高gcn的关键；

4)利用剩余连接可以进一步扩展gnn，利用归一化层可以提高模型性能。

最后，应该注意的是，本文提出的基准框架是由pytorch和dgl实现的，它是完全可复制的，并且对github上的用户开放，用于测试新模型和添加数据集。雷锋网