首页天道酬勤windows2019(微软office2019)

windows2019(微软office2019)

admin 11-29 17:44 188次浏览

2019 ICLR深度学习峰会的两篇最佳论文现已发布,来自蒙特利尔大学、微软研究院和麻省理工CSAIL的研究人员获得了最佳论文奖。其中一篇最好的论文讨论了自然语言处理的问题,并提出利用神经元排序将自然语言层次的考虑引入网络。另一篇最好的论文讨论了模型压缩的问题,并提出了一个新概念:彩票假说。

ICLR一年一度的深度学习活动将于当地时间5月6日至9日在新奥尔良举行。据统计,ICLR 2019年共收到论文1591篇,比去年的996篇增加了60%,其中口试论文24篇,海报论文476篇。

目前,《ICLR 2019》最佳论文已经发表。蒙特利尔大学MILA研究所和微软研究院的论文《Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks》和麻省理工学院CSAIL研究人员的论文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》获得了本次会议的最佳论文奖。

论文:有序神经元:将树结构集成到递归神经网络中

作者:沈怡康,谭尚伟,亚历山德罗索多尼,亚伦库维尔(蒙特利尔大学MILA研究所,微软研究院)论文地址:https://openreview.net/forum? id=b1l 6 qir5f 7

摘要:自然语言是有层次的:较小的单位(如短语)嵌套在较大的单位(如从句)中。当较大的组件结束时,嵌套在其中的较小组件也必须关闭。尽管有标准

长短期记忆网络

该架构允许不同的神经元在不同的时间尺度上跟踪信息,但它对句子成分水平的建模没有明显的偏见。

在本文中,我们建议通过对神经元进行分类来添加这种归纳偏差。主输入向量和遗忘门确保当给定神经元被更新时,跟随它的所有神经元也被更新。这种新的循环结构有序神经元LSTM (ON-LSTM)在语言建模、无监督句法分析、目标句法评估和逻辑推理四个不同的任务中取得了优异的性能。

图2:句子成分分析树与ON-LSTM隐藏状态的对应关系。

表1:在佩恩树库语言建模任务中,ON-LSTM、LSTM和其他模型在验证集和测试集上的模型混淆的比较。

表2:完整WSJ10和WSJ测试集上2:ON-LSTM和其他模型的未标记分析F1结果。

表3:每个测试用例中3:ON-LSTM和LSTM的总体准确性。

图3:测试训练模型对逻辑数据中短序列( 6)的准确性。

论文:彩票低成本:寻找备用的、可训练的神经网络

作者:乔纳森弗兰克,优雅的发夹卡宾论文地址

:https://openreview.net/forum?id=rJl-b3RcF7

摘要:神经网络

剪枝

技术可将网络参数量减少 90%,进而在不牺牲准确率的前提下减少存储需求、提升推断的计算性能。然而现有经验表明,剪枝生成的解析架构从一开始就很难训练,尽管解析架构同样可以提升训练性能。

我们发现,标准的剪枝技术会自然地发现子网络,这些子网络经过初始化后能够有效进行训练。基于这些结果,我们提出了「彩票假设」(lottery ticket hypothesis):密集、随机初始化的前馈网络包含子网络(「中奖彩票」),当独立训练时,这些子网络能够在相似的迭代次数内达到与原始网络相当的测试准确率。

「中奖彩票」赢得了「初始化彩票」:它们的连接具有使训练非常高效的初始权重。我们提出了一种识别中奖彩票的算法,并用一系列实验来支持彩票假设以及这些偶然初始化的重要性。我们发现在 MNIST 和 CIFAR10 数据集上,「中奖彩票」网络的大小不及全连接、卷积前馈架构的 10%-20%。而且,这种「中奖彩票」比原始网络学习速度更快,测试准确率也更高。

那么,应该如何确定「中奖彩票」呢?该研究提出了以下四个步骤:

图 5:当迭代剪枝并再次随机初始化时,Conv-2/4/6 架构的早停迭代、测试和训练准确率。每条实线是五次试验的平均结果;每条虚线是 15 次再初始化(每次试验 3 次再初始化)的平均结果。

图 6:当用 dropout 迭代剪枝和训练时,Conv-2/4/6 在早停时的测试准确率和早停迭代。虚线代表的是没用 dropout 训练的相同网络(图 5 中的实线)。Conv-2 的学习率为 0.0003,Conv-4 和 Conv-6 的学习率为 0.0002。

图 7:VGG-19 在迭代剪枝时的测试准确率(分别是 3 万次、6 万次、11.2 万次迭代)。

图 8:Resnet-18 在迭代剪枝时的测试准确率(分别是 1 万次、2 万次、3 万次迭代)。

Docker发布镜像到DockerHub雷士灯具管理系统
遥感图像语义分割数据集(遥感 动物数据集) ()
相关内容