首页天道酬勤平均池化优点,线性层和全连接层的区别

平均池化优点,线性层和全连接层的区别

张世龙 05-05 23:19 49次浏览

【计算机视觉】——全局平均池化代替所有连接层,所有连接层的作用是什么? 一、参考链接如下。 所有连接层的作用是什么? 为什么使用全局平均池层? 二、需要解决的问题如下。 1 .全连接层的作用是什么? 所有连接层的作用主要有以下三点。

全连通层(fully connected layers,FC )在整个卷积神经网络中充当“分类器”。 假设卷积层、池层、激活函数层等操作是将原始数据映射到隐层特征空间,则所有连接层都学到了“3358www.Sina.com/”映射到http://www.Sinng .的分布式特征表示当前,所有连接层参数都是冗馀的(仅所有连接层参数就可以占整个网络参数的80%左右) ResNet和GoogLeNet等性能优异的网络模型将学习到的深度全局平均池化)全局平均轮询, GAP )已被取代,但使用GAP代替FC的网络,通常在FC越来越不值得期待的当前,我们最近的研究(indefenseoffullyconnectedlayersinvisualrepreservices ) http://www.Sinnww.Sinww具体来说,假设在ImageNet上预先训练得到的模型为m,则ImageNet可以被视为样本标记空间(迁移学习中的source domain ) 精细调整是深度学习领域最常用的迁移学习技术。 在微调的情况下,如果目标域的图像和源域的图像差异很大(例如,与ImageNet相比,目标域的图像是风景照片而不是以物体为中心的图像)。 参照下图) ) ) ) ) ) ) )不包含FC的网络的微调结果会比包含FC的网络差。 因此,FC可以被视为模型表示能力的“防火墙”,尤其是在源域和目标域之间的差异较大的情况下,FC可以保持较大的模型容量以确保模型表示能力的转移。 (冗馀参数并非一无是处。 )

2 .为什么要使用全局平均池化来代替所有连接层? 首先,应该明确使用在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积,h和w分别为前层卷积结果的高和宽代替FC可在模型表示能力迁移过程中充当“防火墙”的作用,而不是使用全局平均池化来代替所有连接层。 全局平均池化本身没有可学习的参数,使用卷积层的全局平均池化与卷积层的所有连接层相比具有优势。 大大减少了网络的参数量(原网络的全部连接层参数量占网络整体参数量的80% );对网络结构进行归一化,相当于防止模型的过拟合3 )为什么要代替全部连接层CNN FC结构模型在训练过程中,整个模型的学习压力主要集中在FC层,FC层参数量占整个模型参数量的80%。 这时,在CNN层学习的特征倾向于较低层的共同特征,即使在CNN层学习的特征比较低,强FC层也可以通过学习调整参数对CNN GAP结构的模型进行很好的分类。 由于使用了GAP代替FC,模型的参数量急剧减少。 此时,模型的学习压力都先于CNN层,与CNN FC层相比,此时的CNN层不仅需要学习低层的共同特征,还需要学习更高级的分类特征,学习难度增加,网络收敛变慢。 如上所述,用全局平均池代替全连通层可以减少模型的参数量,防止模型的过拟合,但不利于模型的迁移学习。 由于CNN GAP的结构,很多参数“固化”在卷积层上,增加新的分类时,意味着需要重新调整相当数量的卷积层的特征(全部连接层的参数调整大部分在全部连接层上,因此过渡时卷积层的参数也进行了调整)

卷积神经网络池化层作用,cnn卷积核参数如何确定