揭开黑盒一角！OpenAI发布“显微镜”，可视化神经网络内部结构

本篇文章2080字，读完约5分钟

边肖|姜宝尚

编辑|韦嘉

Openai博客，已经躺了将近三个月，终于被更新了。这次，它为人工智能研究者所做的工作是“开放式显微镜”，其中文翻译是开放式显微镜。

这意味着它可以像实验室里的显微镜一样工作，帮助人工智能研究人员更好地理解神经网络的结构和特征。

博客地址:open ai/博客/显微镜/

归根结底，这款显微镜更像是一个神经元可视化库，其中包含了历史上重要且普遍研究过的计算机视觉模型，如2012年imagenet Challenge的冠军alexnet、2014年imagenet的冠军googlenet(也称为盗梦空间v1)和resnet v2。

显微镜地址:microscope.openai/models

如上图所示，初始版本包含计算机视觉领域的八个神经网络模型。每个神经网络都以视觉形式显示一些重要神经元的内部结构。

Openai在研究中提到，现代神经网络模型的强大能力来自成千上万个神经元的相互作用。

然而，神经元之间的“合作”一直是个谜，由openai发布的显微镜可以帮助快速探索这些神经元。

例如，研究人员可以推测:初始v1 4c: 447是由车轮检测器(4b: 373) 和车窗检测器(4b: 237)构建的汽车检测器。
入射V1 4c: 447是由车轮检测器(4b:373)和车窗检测器(4b:237)组成的汽车检测器。然后，使用openai显微镜可以评估这种推测并发现新的东西。

例如，用openai显微镜观察alexnet，如上图所示，从原始的完整图像开始，经过神经网络特征提取，最后图像将被“模糊”成一些彩色线条。

(雷锋。(公开号码:雷锋。com))

中间发生了什么？显然，了解神经网络的运行过程是非常重要的。

如上所述，点击每一层神经网络，openai显微镜将直观地显示处理图片的过程，具体来说，每个神经元将对应一个处理后的图片。它清楚地显示了每张图片的“渐进”过程。

根据openai，这个探索神经元的过程为另一个神经网络提供了意想不到的帮助，放大:解释方法的电路导论。

“显微镜”技术基于两个概念:模型中的位置和技术。打个比方，位置是你瞄准显微镜的地方，技术是你放在显微镜上的镜头。

该模型由“节点”(神经网络层)图组成，这些图由“边”连接。每个操作包含数百个“细胞”，它们与神经元大致相似。

值得注意的是，所使用的大多数技术仅在特定分辨率下有用。例如，要素可视化只能指向一个“单元”，而不能指向其父“节点”。
此外，openai在提供这一工具的同时，也对解释方法做出了一些贡献:
1。所有的模型和可视化都是开源的，“显微镜”中的所有可视化都是由lucid库生成的。
2。由于能够将模型与神经元联系起来，我们可以立即检查并进一步探索神经元。
3。可访问性，通过共享可视化研究，保持高可访问性。
正如生物学家专注于研究一些“模型生物”一样，“显微镜”也专注于探索一些细节模型。openai的初始版本包括九个常用的视觉模型，在接下来的几个月里将扩展到其他模型。
也就是说，目前只提供了deepdream和函数可视化功能，还没有支持对定制模型的可视化探索。

可解释性和确定性是机器学习系统中的一个广泛话题，试图理解神经网络在这些层的功能中做什么是一个巨大的挑战。

但是要找出如何选择初始化参数，我们必须了解神经网络的本质。

人工智能研究人员一直在朝着这个方向努力。除了显微镜下的神经元可视化，最近的一些工作也试图可视化机器学习模型。

(雷锋网)

例如，facebook去年春天推出的captum试图使用可视化技术来解释机器学习模型做出的决策。作为一个基于 pytorch 的模型解释库，它功能强大、灵活易用，并为所有最新算法提供解释，有助于研究人员和开发人员更好地理解有助于模型预测结果的具体特征、神经元和神经网络层。

当时，facebook还推出了captum insight的试用版，它建立在captum的基础上，并提供了解释性的可视化功能。

2019年3月，openai和谷歌也发布了激活地图集)；机器学习算法的决策可视化技术:

(雷锋网)

如果将先前的研究与在算法的视觉字母表中显示单个字母相比较，激活图谱提供了整个词典，它可以显示字母是如何组合成实际词汇的。

主动图谱基于特征可视化，将焦点从单个神经元转移到这些神经元一起表示的空的可视化。

显然，今天的“显微镜”工作也集成并使用了以前的激活图技术。

追根溯源，所有这些可视化研究都可以归因于一个早期的实验，名为deepdream，这是一个2015年发布的计算机视觉计划，旨在将任何图像转变成它自己的“幻觉”版本。

Deepdream通过谷歌神经网络模型显示对输入图片的理解，类似于“深度窃取梦”。由于其奇特的绘画风格，它被认为在某些方面定义了所谓的人工智能美学。

也许，从那时起，人工智能研究者们开始对神经网络模型眼中的世界感到好奇，并开辟了可解释的探索之路。

正如openai的chris olaholah曾经说过的:“在某些方面，一切都是从深梦开始的。”