当前位置:首页 > 天道酬勤 > 正文内容

高考专业选择(清华美院难考吗)

张世龙2021年12月21日 19:02天道酬勤1180

丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI

CNN经典机型VGG自2014年诞生以来,与ResNet等各种多分支架构相比性能较差,因此逐渐“没落”……

但是来自清华大学和怠工科学技术等机构的研究者们,竟然只有3x3卷积和ReLU激活函数的超简单框架,通过结构重参数化(structural re-parameterization ),在这7年前的旧框架中, 格列特Again!

有多简单? 据研究人员称

下午5点读完文章,晚饭前可以写代码开始训练,第二天就可以看到结果了。 如果没有时间读完这篇文章的话,点击GitHub的代码,读前100行就完全明白了。

新架构RepVGG将多分支架构和单向架构的优点结合起来,在速度和性能方面直达SOTA,在ImageNet上精度达到80%以上。

论文被CVPR 2021接收,开源预训练模型和代码在GitHub上也获得了1700颗星!

兼顾多分支和单路架构的优点

对于已经接近“没落”的旧模式,为什么还要重新拾起来利用?

研究人员表示,这是因为简单的基于VGG的模型(单向架构,仅使用3x3卷积和ReLU激活函数)有五个现实好处。

1,3x 3卷积非常快。 在GPU中,3x3卷积的计算密度(理论运算量除以使用时间的值)将达到1x1和5x5卷积的4倍。 2、1路体系结构因并行度高而非常快。 即使计算量相同,“大而整齐”的运算效率也远远超过“小而破碎”的运算。 通过3、1路体系结构节约内存。 例如,ResNet的shortcut不占计算量,但增加了两倍的存储器占有量。 4、单向通行框架灵活性更好,易改变各层宽度。 比如剪树枝。 5、RepVGG本体部分只有一种运算符。 3x3卷积连接ReLU。 在设计专用芯片时,通过指定芯片的大小和成本,可以集成大量的3x3卷积-ReLU计算单元以达到较高的效率。 单负载体系结构的省内存特性也有助于减少存储单元。

由于多点架构的性能得到了提高,新架构的RepVGG为了兼顾两者的优点,首先训练多点模型,然后将多点模型等效转换为单向模型,最后引入该单向模型

具体来说,首先参考ResNet的做法,训练时每3x3卷积层添加平行的1x1体积积分支和恒等映射支,构成一个RepVGG Block。

然后,需要将RepVGG Block转换为卷积。 也就是说,将训练过的模型转换为等效的只有3x3卷积的单向模型。

16px 0px;">怎么转换?结构重参数化!

如上图,利用卷积的相加性,需经过两次变换。

示例中,输入输出通道数都是2,那3x3卷积核所对应的参数矩阵为2x2x3x3,也就是4个3x3矩阵,1x1卷积核对应的参数矩阵为2x2x1x1,也就是4个1x1矩阵,为了画图方便换成1个2x2矩阵。

把1x1卷积等价转换为3x3卷积,只要用0填充一下就行了。

而恒等映射是一个特殊(以单位矩阵为卷积核)的1x1卷积,因此也是一个特殊的3x3卷积。

以上三个分支都有BN(batch normalization)层,推理时的卷积层和其后的BN层可转换为一个带bias的卷积层。

最后,将三分支得到的卷积核和bias分别相加,完成等价转换为只有3x3卷积的单路模型。

从这一转换过程中,我们看到了“结构重参数化”的实质:训练时的结构对应一组参数,推理时我们想要的结构对应另一组参数;只要能把前者的参数等价转换为后者,就可以将前者的结构等价转换为后者。

不少人都称赞这篇论文的思路非常有意思,简单易懂,让人眼前一亮!

效果确实也非常不错——

速度和精度达SOTA

RepVGG这样只用3x3卷积和ReLU激活函数的简单架构,特别适用于GPU和特殊推理芯片(inference chips)。

研究人员在1080Ti上对RepVGG进行了测试。在公平的训练设定下,同精度的RepVGG速度是ResNet-50的183%,ResNet-101的201%,EfficientNet的259%,RegNet的131%。

在Cityscapes上的语义分割实验表明,在速度更快的情况下,RepVGG模型比ResNet系列高约1%到1.7%的mIoU,或在mIoU高0.37%的情况下速度快62%。

通过结构重参数化,RepVGG在ImageNet上达到了80.57%的top1精度,与最先进的复杂模型相比,速度-精度都非常出色。

关于作者

论文一作:mmdsb,清华大学计算机视觉博士生,研究方向是计算机视觉和机器学习。在CVPR、ICML、ICCV、NeurIPS作为第一作者发表论文5篇。曾获得第七届百度奖学金荣誉——“十位顶尖 AI 学子”之一。

论文二作:cjdxc,旷视科技旷视研究院base model组负责人,西安交大博士生。曾在微软亚洲研究院实习,是ResNet的主要作者之一。

论文三作:jwdttt,香港科技大学与旷视联合培养博士,主要研究方向为计算机视觉和高性能卷积神经网络。

论文地址:https://arxiv.org/abs/2101.03697GitHub地址:https://github.com/DingXiaoH/RepVGG

参考链接:

[1]https://www.reddit.com/r/MachineLearning/comments/nqflsp/rrepvgg_making_vggstyle_convnets_great_again/[2]https://zhuanlan.zhihu.com/p/344324470

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/26518.html

分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。