当前位置:首页 > 天道酬勤 > 正文内容

facebook人工智能研究(facebook AI平台)

张世龙2021年12月21日 19:06天道酬勤1330

夏乙出生于凹非寺

量子报道|公众号QbitAI

——猫戴着什么?

——帽子。

——的天气怎么样?

——下雨。

——披萨上面是什么?

——蘑菇。

看图回答这些问题对我们人类来说很容易,但要让AI掌握这个技能,就需要探索。

Facebook为了这一领域的探险家们,刚刚开放了一个叫Pythia的模块化视觉问答框架。

我们还将从弗吉尼亚理工大学和乔治亚理工大学举办的视觉测验(Visual Question Ansering )竞赛VQA Challenge开始演讲。

在比赛中,Facebook AI研究院(FAIR )队由A-STAR夺冠。 总成绩为72.41分位居第一,在(上图的是/否)、其他) Other ) 2类问题中也位居第一,分别获得87.7分和63.95分,数学) Number )成绩稍差,为51.51分、不合格、第6位

其他参加者可以回答“是/否”。 回答的数字不合格,但回答零散的其他问题也在及格线上徘徊。

根据冠军FAIR的观察,目前的视觉问答amp; a(vqa )模型有提问码、图像特征提取、回答空间分类这几个模块。

因此,他们希望为VQA领域构建一个简单的模块化模型开发平台。 另外,也可能可以用于看图对话。

构建平台的第一步是开放源代码A-STAR参与模式的基础框架Pythia,当前版本号v0.1。

奠定Pythia基础的,是2017年的vqa挑战冠军、Peter Anderson等人提出的Bottom-Up and Top-Down Attention模型。

Bottom-Up是指该模型以ResNet-101为基干网络,利用Visual Genome数据集事先训练好的Faster-RCNN,利用自下而上的注意机制提取图像特征。

另一方面,所谓Top-Down,是指根据问题(现在的任务)计算图像区域上的注意力分布。

基于这个模型,FAIR团队进行了一些调整。

例如,用权重标准化ReLU代替up-down模型的双曲正切激活函数,用Adamax优化模型,增大学习率。 例如,将bottom-up模型的目标检测模型置换为Detectron的FPN,对所使用的数据集、Visual Genome、Visual Dialog等也进行了数据放大。

各模块的优化提高了模型的性能。

BTW,Facebook的参赛队伍和框架的名字没有深刻的含义。

队伍的名字——A-STAR的意思是,和星星没有太大关系,能够看、说、行动、推理的代理人(Agents that See,Talk,Act,and Reason )

帧名Pythia,也就是希腊神话中的皮蒂亚,德尔菲亚波罗神庙中的mmdgz。 mmdgz的重要工作之一是回答问题。

如果你也想做一个看图回答问题的模型,请收到这个paper :

pythiav 0.1: thewinningentrytothevqachallenge 2018

玉江,Vivek Natarajan,Xinlei Chen,Marcus Rohrbach,Dhruv Batra,Devi Parikh

359 Arxiv.org/pdf/1807.09956.pdf

开源代码:

359 Github.com /脸书研究/py thia

为其奠定基础的底部-向上和向下注意事项:

359 Github.com /增强园- Hu /底部-增强- vqa

结束了

认真招募

量子在招聘编辑/记者,工作地点在北京中关村。 期待有才华和热情的同学参加! 有关详细信息,请在量子位公众号(QbitAI )的对话界面中返回“招聘”两个字符。

量子比特QbitAI 头条号合同作者

' '跟踪AI技术和产品的新动态

扫描二维码推送至手机访问。

版权声明:本文由花开半夏のブログ发布,如需转载请注明出处。

本文链接:https://www.zhangshilong.cn/work/26521.html

标签: originpgc
分享给朋友:

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。