深度学习模型那么多，科学研究选哪个？

本篇文章6564字，读完约16分钟

以深度学习为代表的机器学习技术在很大程度上颠覆了传统学科的研究方法。那么，对于传统学科的研究者来说，机器学习算法是复杂多样的，哪种方法更适合自己的研究问题往往是一个大问题。

从2006年到2020年的15年间，深度学习经历了一个发展期和爆炸期，在此期间诞生了许多算法原理，许多神经网络也在许多人类任务中表现良好。例如，2012年，为了证明深度学习的潜力，韩丁研究小组首次参加了imagenet图像识别比赛，并通过构建的cnn网络alexnet一举夺得冠军，并粉碎了分类性能第二名(svm方法)。

在2013年、2014年、2015年和2016年，通过imagenet图像识别大赛、dl的网络结构、训练方法以及gpu硬件的不断进步，它不断征服其他领域的战场。

特别是2016年3月，谷歌子公司deepmind开发的alphago与世界冠军、职业九段棋手李世石较量，总比分4-1胜出，掀起了深度学习的高潮。

疫情爆发后，它恢复了平静。算法井喷后，需求更加面向产品。如何将算法集成并打包成产品？如何着陆？如何促进其他领域的科学研究？只有回答这些问题，我们才能增加人工智能的价值。

更具体地说，这种问题可以推导如下:在什么情况下，应该应用什么深度算法？或者，这些深度学习算法的特点适合于哪些科学研究领域？

至于标准神经网络，一般认为它包括用于图像预测和变换的卷积神经网络、用于化学领域的图形神经网络以及专门用于序列数据的变压器...最基本的深度神经网络属于多层感知器，其模型设置非常简单，只有一个由一串非线性函数组成的完整连接层。

虽然简单，但是处理数据可能由一组不同的特征组成的问题是有用的，例如表格数据。该模型比逻辑回归和线性回归更具表现力。然而，在使用中，有必要对数据进行预处理，选择一些特征集进行计算，并将它们用作输入。最近的一项研究用于药物开发，该研究机构是中药质量研究国家重点实验室。

多层感知器只是一个简单的深层网络。在此基础上，卷积神经网络得到了发展，成为最著名的神经网络家族。其独特的卷积层允许神经网络在图像的不同空位置重复使用参数。作为一种对图像数据非常有用的归纳偏差，它有助于更有效地学习一些好的特征，并将它们划分到应用层。卷积神经网络衍生出图像分类、目标检测、语义分割和实例分割、图像超分辨率、图像配准和姿态估计......

从上图可以大致看出其中四种的分类差异。当分类时，整个图像只有一个气球标签，而在目标检测中，每个气球由一个边界框定位。在语义分割中，该算法识别与气球相对应的所有像素，并在案例分割中识别每个单独的气球。

简单地说，图像分类是通过一个函数，它输入一个图形并输出一个类别。将胸部x光图像映射到医学上的二值疾病标签是图像分类的应用。

用于图像分类的常见神经网络有:vgg，它在许多迁移学习任务中比googlenet表现更好。缺点是参数的数量高达140米，这需要更多的存储空；Resnet可以处理梯度消失和梯度爆炸；Densenet，其特征在于能够通过连接通道上的特征来实现特征重用；还有最新的resnext和efficientnets，它们可以为网络的深度和宽度以及输入图像的空之间的分辨率提供独立的缩放因子。图像分类算法已经应用于许多不同的科学项目，如分析低温电子显微镜，但它主要广泛应用于医学，因为它需要预测从眼科到放射科的疾病标签。

如果图像分类是图像的一般总结，那么目标检测深入到图像的一些细节。例如，给定一幅有树、人和狗的室外图片，目标检测算法的任务是同时识别这三个对象并用“圆”标记它们。

有许多卷积框架在目标检测方面表现良好，包括最早的速度更快的 r-cnn，以及后来改进的mask r-cnn获得了ICCV iccv2017的最佳论文 h/]，并在案例分割、目标检测和人体关键点检测三个任务上取得了良好的效果。此外，许多改进的模型，如yolov3、efficientdets和yolov4(它只是开源的)，也是目标检测的好选择。

目标检测也是医学领域的一大爱好。放射学中已有关于交叉模式肿瘤细胞识别和骨折判断的相关研究。如果我们深入到图像的底部细节并对图像的像素进行分类，那么这就涉及到语义分割技术。如果有道路、车辆、行人等的街道图片。语义分割算法的目的是确定图片中像素的属性，即属于车辆、道路还是行人。然而，情况分割更加复杂，并且有必要理解该像素是属于行人1、行人2还是行人3。

总而言之，分割模型需要对每个像素进行分类，因此它们输出的是完整的图像，而不是单一类别的标签和边界框。在设计分割模型时，要求算法能够保存图像的空之间的信息。目前常用的体系结构是u-net，它主要由卷积层、最大汇集层(下采样)、反卷积层(上采样)和relu非线性激活函数组成。

Fcn，这种架构不包含全连接层的全卷积网络，并且可以适应任何大小的输入；数据量增加的反褶积层可以输出好的结果；结合不同深度层结果的跳跃结构确保了鲁棒性和准确性。

此外，还有segnet模型，该模型基于fcn的语义分割任务建立了编解码对称结构，实现了端到端的像素级图像分割。

最后，进行了案例分割，选择了mask r-cnn和最新的N2侦探框架。值得一提的是，侦探ron2不同于其他框架，它还包括全景分割的任务。

分割也广泛应用于医学领域。已经发表了许多关于分割大脑的mr图像，识别不同组织中细胞的关键区域，甚至研究骨骼结构的论文。

除了以上四个，图像超分辨率也是卷积神经网络的一个分支应用。对于低分辨率图像，传统的解决方案是考虑一些约束，如稀疏性。卷积神经网络家族中的Srcnn发现了稀疏编码和卷积神经网络之间的对应关系。Rdn网络已经成为实现超分辨率的一种流行方法。此外，预测 滤波器流在图像去噪和去模糊方面也非常好。

图像配准是数字图像处理的一个重要应用，用于对齐同一场景的两幅或多幅图像。图像配准需要输入图像和参考图像。输入图像是我们想要转换的图像，而参考图像是想要注册输入图像的图像。

卷积神经网络是这项技术的核心，它需要对齐两幅图像。通常情况下，需要一个具有编解码结构的神经网络，如u-net。

姿势估计也可以看作是卷积神经网络的应用，主要关注图片中人物的关键节点，如膝盖、肘部、头部等。二维位姿估计是计算机的核心问题，有许多这样的数据集和卷积结构。源自早期堆叠沙漏网络结构的各种不同算法牢牢占据了姿态检测的一半。

最新的网络 hrnet可以通过将高分辨率卷积并行连接到低分辨率卷积来保持高分辨率表示，并通过跨并行卷积重复执行多尺度融合来增强高分辨率表示。此外，卡内基梅隆大学还提供了一个端到端的多人姿态检测系统，该系统通过自监督学习实现了人体三维运动跟踪。值得一提的是，姿势估计一直在帮助动物行为研究的相关项目。

图形是一种非常神奇的表示，生活中的大多数现象或情况都可以用图形来表示，如人际网络、道路交通网络、信息互联网等。与传统的图模型相比，图网络的最大优势在于它不仅能够在语义上表示一个节点。

图形神经网络可以看作是将深度学习技术应用于符号图形数据，或者从非结构化数据扩展到结构化数据。应用特点:数据具有固有的图形结构特征，一些功能可以从图形结构中学习，无论是一些顶点还是整体情况。

时间空图神经网络可以用来预测随时间演化的图结构。技术参考:大多数图形神经网络遵循从顶点邻域收集信息并使用该信息更新特征向量的高级结构。

目前，还有一些与其他神经网络模型相关的结构变体，如卷积神经网络和递归模型，有时空图网络已经被用来解决视频中的运动识别问题。两篇文章做了很好的总结，第一篇总结了一些早期的过程方法，第二篇整理了不同类型的架构、问题、基准数据集和开源数据。

第一条:贾斯汀·吉尔默、塞缪尔·舍恩霍尔兹、帕特里克·费里利、奥里·维尼亚尔斯和乔治·达尔。量子化学的神经信息传递。第34届国际机器学习会议录第70卷，第 1263-1272页。jmlr。org，2017。

第二条:、潘、 陈、龙、、俞敏洪。图神经网络综述。arxiv prep print arxiv:1901.00596， 2019。图形神经网络在自然语言处理中的应用包括多跳阅读、实体识别、关系抽取和文本分类。计算机视觉的应用是根据语义生成图像。 在生物医学领域，它包括新药发现、化合物筛选、蛋白质相互作用点检测和疾病预测。

数据的一个非常常见的属性是序列结构，例如视频中的帧、蛋白质的氨基酸序列或句子中的单词。开发神经网络模型来处理串行数据是近年来最广泛的研究领域之一。其中大部分是由自然语言处理任务的进展所驱动的，这一领域的重点是使计算机理解人们的工作。机器翻译和问答领域取得了一些进展。目前，需要处理序列数据的核心人物包括:语言建模、序列到序列转换、问答等。

作为一种训练方法，下一个标记预测(next token prediction)是一个序列到序列预测的任务，它将时间或位置T的序列标记作为输入，然后使用这些标记来预测t+1的标记。在自然语言处理任务中，这种方法体现在将句子或单词作为神经网络的输入，然后预测下一个单词。

举个具体的例子，给定一个句子 猫坐在屋顶上，作为输入的神经网络要求预测猫，然后它被馈送给 猫并要求预测 猫，依此类推。这种方法已经成为自然语言中的一种流行方法。此外，它还广泛应用于一些科学项目，如蛋白质功能预测。alphafold部分使用这种方法来预测蛋白质结构。

另一种流行的方法是序列到序列的转换，即把一个序列转换成另一个序列。这种方法常用于机器翻译，通常依赖于具有编码器-解码器结构的神经网络模型，其中编码器神经网络接收输入序列并学习提取重要特征，然后解码器神经网络使用这些特征生成目标输出。这一范式已被用于生物学和能量预测，其中注意力技术发挥了重要作用。

递归神经网络模型的示意性问答也可以作为处理序列数据的基准。这种神经网络模型的标准是:一段文本(作为上下文)和一个特定的问题作为输入，回答段落作为输出。值得一提的是，问答模型所需的神经网络模型必须能够理解不同序列集的相关性和相似性。

递归神经网络、注意机制和变压器是处理序列数据的强大神经网络。递归神经网络(rnn)包括一层中的加权连接(与传统前馈网络相比，连接只馈送到后续层)。因为rnn包含循环，所以它们可以在处理新输入时存储信息。

这种记忆使它们非常适合处理必须提前输入的任务(如时间序列数据)。递归神经网络非常适合处理文本、语音和视频等时间序列数据样本。在深度学习中，注意力可以大致理解为对某个向量的关注程度，该向量可能代表图像中的局部区域或句子中的单词。注意向量用于估计关注部分和其他元素之间的关系，不同部分的值的总和被注意向量加权作为目标的近似值。

尽管注意力有助于解决远程依赖的挑战，但rnn的训练仍然很慢。nlp中的transformer是一个全新的框架，旨在解决从一个序列到另一个序列的任务，并轻松处理长期依赖性。它用全注意结构取代了lstm，可以在翻译任务中取得更好的效果。在科学研究中也有一些有趣的例子，如蛋白质序列的训练和寻找编码有意义的生物特征的表示，通过语言建模生成蛋白质，以及在生物医学数据中进行文本挖掘...


如何减少对数据标签的依赖？

上面提到的神经网络和方法都依赖于数据标签。下面将讨论如何减少对标签的依赖，包括迁移学习、领域适应、多任务学习和弱监督。转移 学习是一种机器学习方法，它将知识从一个领域(即源领域)转移到另一个领域(即目标领域)，使目标领域获得更好的学习效果。

一般来说，源域中的数据是丰富的，但是目标域中的数据很少，所以这个场景适合于迁移学习。例如，我们需要对一个任务进行分类，但是这个任务中的数据是不够的(目标域)，但是有很多相关的训练数据(源域)，但是这个训练数据不同于分类任务中的测试数据(例如，在语音情感识别中，一种语言的语音数据是丰富的，但是，分类任务所需的情感数据是极其稀少的。在这种情况下，如果能够采用适当的迁移学习方法，样本不足的任务的分类和识别结果可以得到很大的改善。领域自适应是迁移学习中的一种代表性方法，它是指利用信息丰富的源领域样本来提高目标领域模型的性能。

在领域适应问题中有两个关键概念:源领域代表与测试样本不同的领域，但它具有丰富的监督信息；目标域表示测试样本所在的字段，没有标签或只有几个标签。源域和目标域通常属于同一类任务，但它们的分布是不同的。

在以下链接中可以找到一些常见的域自适应操作和方法

towards data science/deep-domain-adaption-in-computer-vision-8da 398d 3167 f

多任务学习的目标是使用包含在多个学习任务中的有用信息来帮助每个任务获得更准确的学习者。与迁移学习和领域适应等传统方法不同，多任务学习是一种并行迁移模式。

在多任务学习中，信息在任务之间共享，知识在不同的任务之间传递，因此多任务学习也称为平行迁移学习。多任务学习方法通过共享多任务信息来提高整体学习效果，对于小样本学习尤其有效。

有关更多多任务处理，请参见:

ruder.io/multi-task/index.html#fn4

弱监督通常分为三种类型:不完全监督、不准确监督和不准确监督。

不完全监督意味着只有部分训练数据被标记，大量数据没有被标记；监督不准确，即训练样本只有粗粒度的标签；监督不准确，也就是说，给定的标签不总是正确的。最著名的工具之一是浮潜，它是由斯坦福人工智能实验室发明的。在该系统中，用户可以编写标注函数来代替手工标注训练数据。监管薄弱与其他领域的联系，请参见:

http://hazyre search . github . io/pivot/blog/ws _ blog _ post . html

上述方法可以解决大部分深度学习问题，但偶尔会转向更高级的深度学习方法，尤其是模型生成和强化学习。然而，这些方法通常需要更复杂的实现，这可能需要问题的特定属性才有用。例如，强化学习对优秀的环境模型/模拟器有更高的要求。

生成建模有两个基本目标。首先，从高维数据分布(如自然图像)中实现建模和采样。其次，学习数据的低维潜在编码，找出关键属性。

由stylegan2模型生成

众所周知的生成模型包括对抗生成模型(gan)、变分自动编码器和自动回归模型。其中，无条件干被广泛使用，假新闻、假图片都是以此为基础的，但要注意区分无条件干和有条件干。前者仅使用随机噪声向量作为输入来生成数据，而后者是前者的变体，后者是在附加信息的条件下生成的。

变分自动编码器和gan有相同的目标，并希望建立一个模型，从隐藏变量 z生成目标数据x，但实现是不同的。本质上，它基于我们的传统自编码器，将“高斯噪声”添加到编码器 的结果中(其对应于用于计算vae中的平均值的网络)，使得结果解码器可以对噪声具有鲁棒性。

近年来，出现了许多基于自回归思想的深度生成模型，如pixel LRNN、pixelcnn、many、made等。然而，ar模型需要逐像素生成(后一个像素的生成取决于前一个像素)，这也导致生成过程缓慢。

最后，与gan和vae相比，基于流的生成模型(也称为可逆生成模型)受到的关注较少，它主要使用归一化流(称为流)来模拟训练数据的分布。

强化学习的常见模型是标准马尔可夫决策过程 。根据给定的条件，强化学习可以分为基于模型的学习(基于模型的学习)和无模型学习(无模型的学习)、主动学习(主动学习)和被动学习(被动学习)。强化学习的变体包括反向强化学习、分层强化学习和部分可观察系统的强化学习。用于解决强化学习问题的算法可分为策略搜索算法和值 函数算法。深层学习模型可用于强化学习，形成深层强化学习。

在强化学习模型的设计中有三个方面需要考虑:第一，如何表达国家空和空.行动第二，如何选择建立信号以及如何通过学习来校正不同状态-动作对的值。第三，如何根据这些价值观选择合适的行动。用强化学习方法研究未知环境下的机器人导航，由于环境的复杂性和不确定性，这些问题变得更加复杂。

(雷锋网(公开号码:雷锋网))(雷锋网)(雷锋网)