人工智能的另一方向：基于忆阻器的存算一体技术

本篇文章4672字，读完约12分钟

边肖|刘钱慧，邢东
编辑|姜宝尚

在过去的十年中，以深层神经网络为代表的人工智能技术深刻地影响了人类社会。然而，深层神经网络的发展已经进入瓶颈期，我们仍然处于人工智能薄弱的时代。如何进一步发展强大的人工智能触动了每一个聪明的研究者的心。

算法改进是走向强人工智能的一个方向；受大脑启发的硬件设计是人工智能的另一个方向。

在硬件层面上，智能研究如何从人脑的研究中获益？随着中国脑计算的深入，越来越多的学者开始质疑这个问题。

2020年4月25日，在未来论坛青年创新联盟在线学术研讨会上，开展了人工智能+脑科学的主题讨论。共有六位嘉宾发表了演讲，前沿讨论从两个不同的角度进行:人工智能的脑科学和脑科学的人工智能。

其中，清华大学的吴华强老师做了一个题为“基于大脑的集成存储和计算技术”的报告。吴教授在报告中介绍:在思考未来计算的时候，量子计算和光学计算都是从物理学中寻找答案，而像大脑这样的计算和存储与计算的集成都是从生物学中寻找答案，也就是从大脑中寻找答案。

目前，吴先生正在芯片上制作一种新的电子突触器件，制作一个存储和计算的集成架构。忆阻器主要是在新器件中研究的，其特点是多位和非易失性，即去电可以保持电阻值，而且速度非常快。

此外，吴先生还提到，用该芯片设计的存储和计算一体化计算结构已经与树莓Pi 28 nm cpu进行了比较。在同样的准确度下，前者运行10，000张图片3秒，而后者运行59秒。

清华大学微纳电子系教授、清华大学微纳电子系副主任、清华大学微纳处理平台主任、北京未来芯片技术先进创新中心副主任吴华强。

吴华强:

我的报告将从硬件挑战、研究进展和前景三个方面介绍基于大脑的存储和计算技术集成。

人工智能无处不在，从云到我们的手机，有很多人工智能。不同的人工智能应用对芯片有不同的要求。例如，数据中心和无人驾驶车辆需要极高的计算能力，而智能传感器网络、物联网和移动电话需要低能耗和高能效。不同的应用对芯片有不同的要求，这给了芯片领域很多机会。

人工智能的三次发展浪潮也与硬件计算能力有关。

一个非常重要的因素是，虽然有一个好的理论模型，但它没有足够的计算能力。

后来，专家系统出现了，第二波又兴起了。此时，许多人在做专注于人工智能的电脑。与此同时，摩尔定律迅速推动了芯片的发展，通用计算机的性能迅速提升，通用计算机可以做专业计算机所能做的事情，因此它们逐渐占领了市场，第二波浪潮再次消退。

第三次浪潮，从深度神经网络的提出到gpu加速网络训练，已经成为人工智能的主要训练平台。随着计算能力的提高，网络规模迅速扩大。阿尔法戈 zero需要5000 tpu训练40天才能成为地面上最强的围棋手，这需要很多时间。因此，人工智能的广泛应用需要硬件能力创新来支持人工智能的发展。

芯片提供的计算能力和人工智能的高要求之间存在矛盾。第一台计算机eniac出现于1947年，其计算能力约为每秒5000次。英特尔2019年的cpu约为20.8次浮点运算。我们看到它的变化围绕着摩尔定律，即每18个月将集成度提高一倍，以提高计算能力。但是对人工智能的需求每3.4个月翻一番。因此，有必要寻找新的方法来提供计算能力。

提高计算能力越来越困难有两个原因。首先，在过去，摩尔定律使设备越来越小。现在，设备的尺寸缩小接近物理极限，所以摩尔定律逐渐失效。第二，传统计算架构的发展带来的性能提升逐渐缓慢。现代计算系统一般采用冯·诺依曼(von Neumann)体系结构，将信息存储与操作分离开来，其操作性能受到数据存储速度和传输速度的限制。具体来说，cpu的计算速度不到1纳秒，但主存dram约为100纳秒，即存储速度远低于计算速度。

在能耗方面，以tsmc45 nm工艺为例，加减乘除不到一个pj，但32位dram的读取高达640 pj，相差一百倍。因此，存储速度远低于cpu，存储功耗远高于cpu。这还没有谈到存储的写入，写入的功耗会更高。这样，整个系统的性能受到数据存储速度和传输速度的限制，并且由于存储、读取和写入的高功耗，整个系统的功耗非常高。

现在我们可以看到很多新的计算，包括量子计算、光学计算、像大脑一样的计算和存储。因此，当我们想思考未来的计算时，我认为量子计算和光学计算正在从物理学中寻找答案，而像大脑这样的计算以及存储和计算的集成正在从生物学中寻找答案，即从大脑中寻找答案。

著名的人机战争，人工智能玩家 阿尔法戈使用了176个图形处理器和1202个中央处理器，功耗为15万瓦..我们的大脑大约有1.2升大，有10 11个神经元和10 15个突触，思考时的功耗是20瓦。大脑消耗的能量如此之少，而且如此聪明，以至于它有如此多的神经元和突触。所以我们希望设计新的具有大脑灵感的人工智能芯片。

我们想向生物学家和神经学家学习，看看大脑如何处理计算。大脑有几个特征，一个是大量神经元的连接性，神经元加上突触的结构，有近10，000个突触连接到一个神经元。其时间空信息的第二种编码方法是脉冲。我们希望模仿大脑的结构和工作机制，并以脉冲编码的形式输入和输出。

生物突触是信息存储和处理的最低生物装置。我们想在芯片上制造一个新的电子突触设备，并制造一个存储和计算的集成架构。我们主要研究新器件中的忆阻器，它的特点是多位和非易失性，也就是说，它可以在断电后保持这个电阻值，而且速度非常快。另一个关键点是它与集成电路的cmos技术兼容，可以大规模集成。近十年来，我们一直专注于该设备，以完成其优化和计算功能。

美国国防高级研究计划局(darpa)的法郎项目计划使用模拟信号处理来超越传统的冯·诺依曼(von Neumann)计算架构，希望提高系统的计算性能。任在2019年的一次采访中表示，未来，边缘计算将要么把cpu制造在内存中，要么把内存制造在cpu中，这将改变冯·诺伊曼的结构，而存储计算将被集成到一个高速。阿里在2020年十大科技趋势中提到了计算和存储的集成，希望通过存储和计算的集成架构突破人工智能计算能力的瓶颈。存储和计算一体化的概念也受到大脑计算方式的启发。

基于忆阻器的内存计算集成技术可分为三个阶段:第一阶段是单个器件的开发阶段。2008年，惠普实验室的斯坦·威廉教授首次在实验室中制备了忆阻器。后来，密歇根大学的卢伟教授提出了电子突触的概念，加州大学旧金山分校的谢园教授提出了基于忆阻器的素数存储计算集成架构，引起了广泛的关注。

在第二阶段，阵列被启动。2015年，ucsb演示了对12×12阵列上三个字母的识别。2017年，我们团队演示了在128×8阵列上识别三张人脸，准确率达到95%以上。与此同时，ibm、umass和hp等研究团队尝试在阵列上实现存储和计算的集成。

第三阶段是存储和计算芯片的集成。让我们以isscc近年来发表的文章为例。2018年，松下展示了多层感知器的宏电路。2019年，新竹清华大学和台湾TSMC联合演示了卷积核计算的宏电路。今年，清华大学和斯坦福大学合作制作了受限玻尔兹曼机的宏电路。

今年，我们在清华的团队完成了一个完整的系统集成集成集成存储芯片。根据系统测试结果，该芯片的能效高达78.4次/w，相当高。我们还做了比较，一个是集成芯片和系统，另一个是树莓Pi 28纳米cpu。我们的芯片在3秒内运行10，000张图片，而它们在59秒内运行。我们的速度快得多，但精确度相当。

今年1月，我们在《自然》杂志上发表了忆阻器存储和计算集成系统的工作。这项工作主要是把多个数组放在一起形成一个系统，并验证它是否可以作为模拟计算来实现人工智能工作。我们提出了一种新的混合训练算法，达到了与软件相同的计算精度。还提出了一种新的卷积空并行结构，它使系统的处理速度加倍。

为什么忆阻器集成适合人工智能？因为交叉阵列结构特别适合快速矩阵向量乘法。存储和计算的集成可以降低功耗和因权值转移带来的延迟，有效解决目前计算能力的瓶颈。此外，人工智能更注重系统的精度，而不是每个器件的精度，这尤其符合忆阻器和模拟计算的特点。

我们还和毕国强老师合作了一篇综述文章。利用大脑灵感设计人工智能芯片，我们比较了大脑的结构，从i/o通道到突触、神经元、神经回路，再到带有电子设备的整个大脑。2019年，一篇名为“桥接 生物和人工神经网络”的文章发表在《高级 材料》上。如果你感兴趣，你可以读这篇文章。

展望未来，我希望成为一个集存储和计算于一体的计算机系统。过去它是晶体管加布尔逻辑加冯·诺依曼结构，但现在它是集成模拟忆阻器与模拟计算和存储的非冯结构。

演讲结束后，中国科技大学神经生物学与生物物理学系主任毕国强先生、北京大学信息科学与技术学院院长伍肆先生和三位主讲老师讲述了脑科学为人工智能发展提供了哪些理念、方法和技术。典型案例是什么？进行了热烈的讨论。

在会上，胡小林提到:很多工作实际上是受到了脑科学的启发。追溯到1943年，迈克和皮茨首次提出了人工神经元mp神经元。没有他们提出的人工神经元，这些有线电视新闻网等等就不存在。他们实际上做了神经科学。他们试图发明计算模型并解释大脑的工作。他们提出了这种逻辑运算mp神经元。罗森伯特扩展了mp神经元，得到了一个多层感知器。后来，在1989年和1990年，yan lecun等人提出了美国有线电视新闻网，这是受新奥格硝基模型的启发。新硝基是由日本福岛提出的。我真的在找他的论文。新硝基的结构和现在的有线电视新闻网完全一样，唯一的区别是学习方法不同。当新硝基在1980年被提出时，它仍然是新硝基是如何来到这里的？这是由神经科学发现的。猫的视觉皮层有两种细胞:简单细胞和复杂细胞。基于这两种细胞的特征，新大脑神经元被构建来试图解释大脑如何识别物体。后来发展到美国有线电视新闻网。Mp neuron和neocognitron是两个具有里程碑意义的方法，是神经科学启发人工智能的典型工作，甚至是颠覆性的工作。

坦率地说，在神经网络和人工智能的起飞过程中，我没有看到太多令人兴奋的大脑启发的工作，我自己也在这个领域做了一些工作，发现当前一些受脑科学启发的计算模型似乎没有我刚才提到的两个模型有意义。我希望在这个领域会有一些新的启发大脑的方法，尽管它们现在的表现很差，但它们可能会在十几年或几十年后成为基础工作。

伍肆:我们需要看看如何定义人工智能。它一般包括信息论、动态系统分析、统计学习等。，这些是每天在计算神经科学中使用的工具，它们一直在帮助脑科学的发展。如果我们必须强调最新的东西，比如深度学习，那么如何将人工智能应用于脑科学是目前的一个研究热点。世界上有许多团体，包括清华大学的胡小林先生。每个人都把视觉系统看作一个深度学习网络，然后训练这个深度学习网络，同时加入一些生物约束，然后用比较的方法看这个系统能学什么，然后回答生物视觉认知的问题。

唐华金:我想补充一下伍肆先生的话。传统上，人工智能提供了非常重要的大数据分析工具，如视觉神经和视觉皮层。如今，人工智能已经提供了非常重要的大数据工具，尤其是在高通量大脑成像方面。它建立了一个非常好的大脑模型，人工智能大数据发挥了重要作用。还有对大脑活动的实时分析，比如斑马鱼的活动，如何同时记录和匹配这些神经元的活动。这是大量人工智能深度学习，帮助大脑科学家在分析数据和统计数据方面发挥非常重要的作用，包括三维重建，包括树突和轴突之间的连接结构。ai仍然为深入解释提供了一个很好的工具。

(雷锋网)，(雷锋网)，(雷锋网(公开号码:雷锋网))